Dwór w Skarpie był budowany był w kilku etapach przez rodzinę Prądzyńskich, właścicieli majątku w l.1822–1939. W pamięci kolejnych pokoleń mieszkańców miejscowości zapisał się szczególnie Lucjan Prądzyński, który zarządzał Skarpą w latach międzywojennych. Jest on wspominany jako sprawny gospodarz, ale także opiekujący się swoimi pracownikami „jaśniepan”.
W czasach PRL-u w pałacu dużo się działo: były tu mieszkania, biblioteka, świetlica i przedszkole. Odbywały się zabawy, ale też toczyło codzienne życie. Kwaterowano tu grupy z hufców pracy przyjeżdżające na żniwa. Przy pałacu była ręczna pompa, ale też chlewiki, kurniki czy należące do kierownika sad oraz klatki z królikami.
Po likwidacji PGR-u budynek szybko zaczął niszczeć. Starania Andrzeja Prądzyńskiego, syna Lucjana, o odzyskanie pałacu lub przejęcie go przez gminę nie przyniosły skutku.
Obecnie pałac jest własnością prywatną, w jego otoczeniu planowana jest budowa agroturystyki.
