Vom ehemaligen Edelsitz der Grafen Palffy blieb bis heute ein hakenförmiges 2-geschossiges Herrenhaus mit Barockfassade. Es weist an der Westfront 7 und im Norden 4 Fensterachsen auf und geht auf eine größere Anlage des Freihofes „zum Himmelstor“ zurück. Dieser wurde im 18. Jh. unter Niklas Palffy 3-geschossig ausgebaut. Das 3. Geschoß wurde im 19. Jh. Nach einem Brand abgetragen. Es existiert noch das wuchtige Steinfundament eines Vorgängerbaues. Sehr alte gewölbte Kelleranlagen aus Bruchstein ragen nach Süden bis weit unter das Nachbargrundstück hinein, welches früher ebenso zur Anlage gehörte.
Die Fassade des heute zweigeschossigen Zweiflügelbaus weist über dem genuteten Erdgeschoß ein lisenengegliedertes Obergeschoß mit Ortsteinrahmungen auf und wurde 2010 und 2011 fachgerecht restauriert. Die Pilaster des Obergeschoßes sind fast durchwegs als Doppelpilaster angeordnet, deren verkröpfte Basen auf einem Zwischengesimse ruhen. Der obere Abschluss der Pilaster fehlt durch die brandbedingte Reduktion des 3. Geschoßes. Die sechsscheibigen Obergeschoßfenster weisen Sohlbänke, flache Parapetfelder und Verdachungen auf, die Hausecken sind jeweils durch Ortseinrahmungen betont.
Die Torhalle besitzt eine zwischen Gurtbögen auf Pilastern ruhende Stichkappentonne. Hofseitig und dorfseitig sind noch die abgerundeten Radabweiser aus Granit in Sockelhöhe bemerkenswert. (Österreichisches Bundesdenkmalamt 5896/2/91).
Die bei G.M. Vischer (1672) dargestellte auffällige Zweiteilung des Gebäudes kann durchaus richtig sein. Im Nordtrakt findet sich im Obergeschoß ein heute durch Zwischenwände geteilter Raum mit einem Gesimse des 17. Jh. Er könnte zu jenem Gebäude gehören, welches bei Vischer links dargestellt ist. Das rechte Gebäude könnte auch Teile des heutigen Nachbargebäudes umfasst haben, wofür die Keller sprechen, die weit unter dieses Gebäude reichen. (Ralf Wittig, Ehem. Freihof „Zum Himmelstor“, Moidrams 2000)
Im Erdgeschoß Stichkappengewölbe, im Obergeschoß Flachdecken mit Gesimsen aus dem 17. Jh. und schwerem Stuckspiegel, Türen mit Originalbeschlägen aus dieser Zeit.
Der ehemalige Freihof ist ein Beispiel eines kleinadeligen Herrschaftssitzes, welcher in späterer Zeit seine Bedeutung als Sitz der Grundherrschaft einbüßte und in bäuerliche Hände überging. Trotz Reduzierung seines Bauvolumens nach einem Brand im 19. Jh. ist sowohl die ursprüngliche Bausubstanz als auch die Fassadengliederung des 18. Jh. weitgehend erhalten und verleiht dem Bauwerk nach wie vor einen herrschaftlichen Charakter. Der Edelsitz besitzt künstlerische sowie lokale kulturgeschichtliche Bedeutung als ehemaliger Herrschaftssitz von Pfaffenschlag (Österreichisches Bundesdenkmalamt 5896/2/91).