唐永徽六年(公元654年),高宗立武昭仪为皇后,褚遂良极力反对,高宗震怒,将褚贬为潭州都督。褚巡视潭州各县时,不时到湘乡城东感应寺与方丈和尚私叙兴唐大业。寺左有清池,褚公祠常临池赋诗,洗笔于池。明末清初,当地人民敬仰褚遂良的书法和为人,便在池旁建褚公祠。南宋绍兴二年(公元1229年),县丞邵自信曾浚治洗笔池,书横榜曰“唐都督褚公笔池”,为湘乡旧八景之一,名“笔沼春云”。现词、池已毁,但仍存两件珍品:一是正殿前右廊壁间所嵌褚公《大唐三藏圣教序》碑(现移至湘乡市博物馆),高1.53米,宽0.72米。据考,当为褚书《雁塔圣教序》之翻刻。杜甫《发潭州》诗赞“褚公书绝伦”,即指出。褚遂良,与欧阳询、虞世南、恭稷并称为唐四大书法家。二是门廊左侧有石幢,高约2米,四面各宽0.6米,元至治元年(公元1321年)立。