杨宅为清朝乾隆初期所建。由榜眼府、杨氏南宅和杨氏孝坊组成。自2006年开始，市镇两级政府按照修旧如旧的原则进行修复，修复后的三处古建筑占地面积5581平方米，建筑面积为4132平方米，为传统明清建筑中的典型代表。

现存四进，进三间，二三进为平房，四进为四间楼房。住宅进深49.3米，前面宽11.3米，后面宽16.2米。第三进为大厅，通宽16米，进深11.2米，高7米。柱础为青石鼓墩，抬梁结构，重檐方檐，正桁上镀金重彩花绘。后楼四间，通宽16.2米，进深7.3米，高7.9米。形制规模很高，是典型的清代官邸建筑。