〔20〕未几，拜郢州刺史，寻转虢州刺史。后迁怀州刺史，决沁水东注，名曰利民渠，又派入温县，名曰温润渠，以溉舄卤，民赖其利。后数年，转齐州刺史。民饥，谷米踊贵，闭人粜而自粜之。坐是除名为民。
不久，卢贲被任命为郢州刺史，很快又转任虢州刺史。后来升任怀州刺史，他开凿沁水引向东流，命名为利民渠，又分出一条支流引入温县，命名为温润渠，用来灌溉盐碱地，百姓依靠它得到了好处。几年后，转任齐州刺史。百姓闹饥荒，谷米价格飞涨，卢贲禁止别人卖粮，却自己卖粮。因此被削职为民。
〔21〕后从幸洛阳，上从容谓贲曰：“我始为大司马时，卿以布腹心于我。及总百揆，频繁左右，与卿足为恩旧。卿若无过者，位与高颎齐。坐与凶人交构，由是废黜。言念畴昔之恩，复当牧伯之位，何乃不思报效，以至于此！吾不忍杀卿，是屈法申私耳。”贲俯伏陈谢，诏复本官。后数日，对诏失旨，又自叙功绩，有怨言。上大怒，顾谓群臣曰：“吾将与贲一州，观此不可复用。”后皇太子为其言曰：“此辈并有佐命之功，虽性行轻险，诚不可弃。”上曰：“我抑屈之，全其命也。微刘昉、郑译及贲、柳裘、皇甫绩等，则我不至此。然此等皆反覆子也。当周宣帝时，以无赖得幸，及帝大渐，颜之仪等请以宗王辅政，此辈行诈，顾命于我。我将为治，又欲乱之。故昉谋大逆于前，译为巫蛊于后。如贲之徒，皆不满志。任之则不逊，致之则怨，自难信也，非我弃之。众人见此，或有窃议，谓我薄于功臣，斯不然矣。”苏威进曰：“汉光武欲全功臣，皆以列侯奉朝请。至尊仁育，复用此道以安之。”上曰：“然。”遂废于家，是岁卒，年五十四。
后来卢贲跟随皇帝到洛阳，皇帝从容地对他说：“我当初做大司马的时候，你向我推心置腹。等到我总揽大权，你经常在我身边，我跟你算是恩旧之交。你如果没有过错，地位应该和高颎一样高。但因为和凶人勾结，所以被废黜。想起以前的恩情，又让你做地方官，你怎么就不想着报效，以至于到了这个地步！我不忍心杀你，这是委屈法律来成全私情。”卢贲趴在地上谢罪，皇帝下诏恢复了他的原职。几天后，卢贲应对诏书不合圣意，又自己摆功劳，发牢骚。皇帝大怒，回头对群臣说：“我本想给卢贲一个州，现在看来不能再用他了。”后来皇太子替他说情：“这些人都有辅佐开国的功劳，虽然性格行为轻浮阴险，但确实不能抛弃。”皇帝说：“我压抑他们，是保全他们的性命。如果没有刘昉、郑译以及卢贲、柳裘、皇甫绩等人，我到了今天。但这些人都是反复小人。在周宣帝时，他们靠无赖得到宠幸，等到宣帝病危，颜之仪等人请求以宗王辅政，这些人行诈，把顾命托付给我。我将要治理天下，他们又想作乱。所以刘昉在前谋大逆，郑译在后做巫蛊。像卢贲这类人，都不满足。任用他们则不逊，不任用则怨恨，自然难以信任，不是我抛弃他们。众人见此，或许有私下议论，说我薄待功臣，其实不是这样。”苏威进言说：“汉光武帝想保全功臣，都让他们以列侯身份按时朝见。陛下仁爱，也可以用这个方法来安抚他们。”皇帝说：“对。”于是把卢贲废黜在家，这一年他就去世了，享年五十四岁。
〔22〕史臣曰：高祖肇基王业，昉、译实启其谋，当轴执钧，物无异论。不能忘身急病，以义断恩，方乃虑难求全，偷安怀禄。暨夫帝迁明德，义非简在，盐梅之寄，自有攸归。言追昔款，内怀觖望，耻居吴、耿之末，羞与绛、灌为伍。事君尽礼，既阙于宿心，不爱其亲，遽彰于物议。其在周也，靡忠贞之节，其奉隋也，愧竭命之诚。非义掩其前功，畜怨兴其后衅，而望不陷刑辟，保贵全生，难矣。柳裘、皇甫绩、卢贲，因人成事，协规不二，大运光启，莫参枢要。斯固在人欲其悦己，在我欲其骂人，理自然也。晏婴有言：“一心可以事百君，百心不可以事一君。”于昉、译见之矣。
史臣评论说：高祖开创帝王基业，刘昉、郑译实际上开启了这一谋划，他们身居要职，当时没有人有异议。但他们不能忘身忧国，以义断恩，反而考虑患难求全，偷安恋禄。等到皇帝迁居明德，恩义并非简选，盐梅之寄，自有归属。他们追念旧情，内心不满，耻于位居吴汉、耿弇之末，羞与绛侯、灌婴为伍。事君尽礼，已经缺乏本心，不爱其亲，很快显露于舆论。他们在周朝，没有忠贞之节，他们侍奉隋朝，有愧竭命之诚。不义掩盖了他们的前功，蓄积怨恨引发后来的祸端，而希望不陷刑法，保全富贵，难啊。柳裘、皇甫绩、卢贲，依靠他人成事，协力同心没有二意，大运开启，却没有参与枢要。这本来是在人希望别人取悦自己，在我希望自己责备别人，道理自然如此。晏婴有言：“一心可以事奉百君，百心不可以事奉一君。”在刘昉、郑译身上看到了这一点。