〔35〕帝怨衍等不时至，永以立功得赎罪，遂任用之，而衍独见黜。永谓衍曰：“昔高祖赏季布之罪，诛丁固之功。今遭明主，亦何忧哉！”衍曰：“记有之，人有挑其邻人之妻者，挑其长者，长者詈之，挑其少者，少者报之，后其夫死而取其长者。或谓之曰：‘夫非骂尔者邪？’曰：‘在人欲其报我，在我欲其骂人也。’夫天命难知，人道易守，守道之臣，何患死亡？”顷之，帝以衍为曲阳令，诛斩剧贼郭胜等，降五千余人，论功当封，以谗毁，故赏不行。
皇帝埋怨鲍衍等人没有按时到达，鲍永因为立了功得以赎罪，于是被任用，而鲍衍独自被罢免。鲍永对鲍衍说：“过去汉高祖赦免了季布的罪过，诛杀了丁固的功劳。如今我们遇到了英明的君主，又有什么可忧虑的呢？”鲍衍说：“有记载说，有个人挑逗他邻居的妻子，挑逗年长的，年长的骂他；挑逗年轻的，年轻的回应他。后来那个丈夫死了，他娶了年长的。有人问他：‘她不是骂你的那个人吗？’他说：‘在别人那里，希望她回应我；在我这里，希望她骂人。’天命难以预知，人道容易遵守，遵守道义的臣子，何必担忧死亡呢？”不久，皇帝任命鲍衍为曲阳县令，他诛杀了大贼郭胜等人，降服了五千多人，论功应当封赏，但因为谗言毁谤，所以封赏没有实行。
〔36〕建武六年30日食，衍上书陈八事：其一曰显文德，二曰褒武烈，三曰修旧功，四曰招俊杰，五曰明好恶，六曰简法令，七曰差秩禄，八曰抚边境。书奏，帝将召见。初，衍为狼孟长，以罪摧陷大姓令狐略。是时，略为司空长史，谗之于尚书令王护、尚书周生丰曰：“衍所以求见者，欲毁君也。”护等惧之，即共排间，衍遂不得入。
建武六年发生日食，冯衍上书陈述八件事：第一是显扬文德，第二是褒扬武功，第三是恢复旧有功勋，第四是招纳杰出人才，第五是明确好恶标准，第六是精简法令，第七是区分官秩俸禄，第八是安抚边境。奏书呈上后，光武帝将要召见他。起初，冯衍担任狼孟县长，因罪打击了大族令狐略。这时，令狐略担任司空长史，他向尚书令王护、尚书周生丰进谗言说：“冯衍求见皇帝，是想诋毁你们。”王护等人害怕了，就一起排挤离间，冯衍于是没能入朝。
〔37〕后卫尉阴兴、新阳侯阴就以外戚贵显，深敬重衍，衍遂与之交结，是由为诸王所聘请，寻为司隶从事。帝惩西京外戚宾客，故皆以法绳之，大者抵死徙，其余至贬黜。衍由此得罪，尝自诣狱，有诏赦不问。西归故郡，闭门自保，不也复与亲故通。
后来，卫尉阴兴和新阳侯阴就因为是外戚而显贵，他们非常敬重冯衍，冯衍于是和他们结交，因此被各位诸侯王聘请，不久担任了司隶从事。皇帝鉴于西汉外戚宾客的教训，所以都用法律来制裁他们，罪行重的被处死或流放，其余的被贬官或罢免。冯衍因此获罪，曾经自己到监狱认罪，皇帝下诏赦免不再追究。他向西回到故乡，闭门自保，不敢再和亲戚故旧来往。