祁阳县建县以来,居民在历史 上有两次大迁徙,一是南宋消亡时,元军攻陷祁阳,进行残暴弹压,死的死逃的逃,人口骤减,以后近邻省,县人民相继迁入。一是元末朱元璋与以两湖为根据地的陈友谅争雄,陈失败战死;为了防止两湖农夫起义兵继承反抗,朱元璋除了血腥弹压外,还来了个“扯湖南填川贵,扯江西填湖南。”当时祁阳居民大部分迁走,而由外省居民添补。祁阳现有居民肇端祖都是由外省迁来,重要上由江西迁来。
钟姓始祖钟惟贤,于洪武年间,迁居祁阳之东七里桥生五子;思仁,思义,思礼,思端,思信。 仁,义,端,迁居零陵。思义,后裔分居太白峰,喉水坪,祠堂坪一带。