高迁的建村历史可以追溯到南宋淳熙年间（1174-1189年）。那时，安化知县吴栝和他的弟弟从事郎吴椿从下砾徙居高迁，分别为高迁村东宅和西宅的始祖。吴栝和吴椿是吴全智十一世孙，在族谱上的世系属仙居吴氏下宅。因此，高迁吴氏的故事，不得不从仙居吴氏讲起。

仙居吴氏的始祖吴全智，字诘士，进士及第，官至后梁银青光禄大夫，世居丽水遂昌。唐昭宗光化二年（899年），吴全智徙居仙居下砾，成为仙居吴氏的始祖。或许正是因为始祖吴全智拥有较高的文化地位和高度的文化自觉，仙居吴氏家风特重文教，形成了“甲第相承，簪缨相继”的家族传统。在这种传统中，科举出仕与文化传承互为表里，共同维护着仙居吴氏的门第。

高迁的建村历史可以追溯到南宋淳熙年间（1174-高迁位于仙居县白塔盆地南部，距县城20公里。自然地理区位为北纬28.5-29度、东经120-121度之间，属亚热带季风气候，雨量充沛，森林覆盖率接近80%。地形地貌以邱陵为主，有“八山一水一分田”之称。高迁的基本地势由西南向东北倾斜。大盘山自西南向东北延伸，构成了白塔盆地的西北缘。大盘山的最高峰青梅尖海拔1314米，有利于阻挡来自西北的冷空气。西南邻高迁溪（又名白水溪）和永安溪，南面对面以天姥山为中心的神仙居景区。白塔盆地山环水绕，为高迁的农业文明发展提供了良好的自然生态条件。

高迁村现存宅院26座，1华里长商贸街1条，古宗祠2座，古井15口，古寺庙1座。村内具有代表性的保存完好的11座古宅，自东向西连成一片，长约500米，布局大气，历经数百年而不衰。每座宅院的建筑风格大致相同，均为二层建筑，但内部空间灵活多样，同中有异。民居构建了人们的生活空间。大规模向内封闭的院落，使多世同堂、世代比邻成为可能，从而塑造了和谐友善、守望相助的亲族和邻里关系。

如果说山水和建筑是高迁的骨架，那么文化传承则是其延续千年不绝的血脉和灵魂。作为血缘聚居村落，高迁能够在历史变迁的漫长岁月中长久地保持活力、不断发展，所依靠的最根本、最重要的力量，在于其精神传统…

高迁的民居建筑，不仅具有供人居住的功能，也承载着人们的精神信仰。参差错落的民居建筑，不仅是当地居民的自古以来的生活空间，也是他们代代相传的信仰空间。