〔20〕孝昌二年，又随广阳王征鲜于修礼。军次白牛逻，会章武王为修礼所害，遂停军中山。侍中元晏宣言于灵太后曰：“广阳王以宗室之重，受律专征，今乃盘桓不进，坐图非望。又有于谨者，智略过人，为其谋主。风尘之隙，恐非陛下之纯臣矣。”灵太后深纳之。诏于尚书省门外立榜，募能获谨者，许重赏。谨闻之，乃谓广阳曰：“今女主临朝，取信谗佞，脱不明白殿下素心，便恐祸至无日。谨请束身诣阙，归罪有司，披露腹心，自免殃祸。”广阳许之。谨遂到榜下曰：“吾知此人。”众人共诘之。谨曰：“我即是也。”有司以闻。灵太后引见之，大怒。谨备论广阳忠款，兼陈停军之状。灵太后意稍解，遂舍之。寻加别将。二年，梁将曹义宗据守穰城，数为边患。乃令谨与行台尚书辛纂率兵讨之。相持累年，经数十战。进拜都督、宣威将军、冗从仆射。孝庄帝即位，除镇远将军，寻转直寝。又随太宰元天穆讨葛荣，平邢杲，拜征虏将军。从尔朱天光破万俟丑奴，封石城县伯，邑五百户。普泰元年，除征北大将军、金紫光禄大夫、散骑常侍。又随天光平宿勤明达，别讨夏州贼贺遂有伐等，平之，授大都督。从天光与齐神武战于韩陵山，天光既败，谨遂入关。贺拔岳表谨留镇，除卫将军、咸阳郡守。
孝昌二年，于谨又跟随广阳王征讨鲜于修礼。军队驻扎在白牛逻，正好赶上章武王被鲜于修礼杀害，于是军队停留在中山。侍中元晏向灵太后报告说：“广阳王凭借宗室重臣的身份，接受命令全权征讨，如今却徘徊不前，打着自己的小算盘图谋不轨。还有一个于谨，智谋胆略过人，是他的主谋。在这战乱之际，恐怕不是陛下的忠臣。”灵太后觉得他说得很对，下诏在尚书省门外立下告示，招募能抓获于谨的人，答应给予重赏。于谨听说后，就对广阳王说：“现在太后临朝听政，听信谗佞小人，如果不表明殿下的本心，恐怕灾祸不久就要来了。我请求把自己绑起来到朝廷去，向有关部门认罪，表明真心，以免除祸患。”广阳王答应了。于是于谨来到告示下面说：“我知道这个人。”大家追问他，于谨说：“就是我。”有关部门报告上去。灵太后召见于谨，非常愤怒。于谨详细说明广阳王的忠诚，并陈述了停军的情况。灵太后的怒火稍微缓解，就放了他。不久加封他为别将。同年，梁朝将领曹义宗占据穰城，多次成为边患。于是命令于谨和行台尚书辛纂率兵讨伐。双方相持多年，经历了几十次战斗。于谨升任都督、宣威将军、冗从仆射。孝庄帝即位后，任命于谨为镇远将军，不久转为直寝。又跟随太宰元天穆讨伐葛荣，平定邢杲，拜任征虏将军。跟随尔朱天光击败万俟丑奴，封为石城县伯，食邑五百户。普泰元年，任命为征北大将军、金紫光禄大夫、散骑常侍。又跟随尔朱天光平定宿勤明达，另外讨伐夏州贼寇贺遂有伐等人，平定了他们，授予大都督。跟随尔朱天光与齐神武帝在韩陵山交战，天光战败后，于谨就进入关中。贺拔岳上表请求让于谨留下来镇守，于是任命他为卫将军、咸阳郡守。
〔21〕太祖临夏州，以谨为防城大都督，兼夏州长史。及岳被害，太祖赴平凉。谨乃言于太祖曰：“魏祚陵迟，权臣擅命，群盗蜂起，黔首嗷然。明公仗超世之姿，怀济时之略，四方远近，咸所归心。愿早建良图，以副众望。”太祖曰：“何以言之？”谨对曰：“关右，秦汉旧都，古称天府，将士骁勇，厥壤膏腴，西有巴蜀之饶，北有羊马之利。今若据其要害，招集英雄，养卒劝农，足观时变。且天子在洛，逼迫群凶，若陈明公之恳诚，算时事之利害，请都关右，帝必嘉而西迁。然后挟天子而令诸侯，奉王命以讨暴乱，桓、文之业，千载一时也。”太祖大悦。会有敕追谨为阁内大都督，谨因进都关中之策，魏帝纳之。
太祖（宇文泰）到了夏州，任命于谨当防城大都督，兼任夏州长史。等到贺拔岳被害后，太祖赶到了平凉。于谨就对太祖说：“北魏的国运衰微，掌权的大臣擅自发号施令，各地盗贼像蜜蜂一样纷纷起来，老百姓困苦哀嚎。明公您凭着超世的姿质，怀着济世的谋略，四面八方远近的人们，都归心于您。希望您早日定下好计划，来符合大家的期望。”太祖说：“为什么这么说呢？”于谨回答说：“关右地区，是秦朝汉朝的古都，自古称为天府之国，将士勇猛，土地肥沃，西边有巴蜀的富饶，北边有畜牧的便利。现在如果占据那里的要害地带，招集英雄豪杰，训练士兵，鼓励农耕，完全可以观察时局的变化。而且天子在洛阳，被一群恶人逼迫，如果向天子陈说明公您的诚恳忠心，分析当前时事的利害，请求定都关右，皇帝一定赞同并迁都到西边。这样，您就可以挟持天子来号令诸侯，奉天子的命令来讨伐暴乱，这就是齐桓公、晋文公一样的事业，真是千载难逢的时机啊。”太祖非常高兴。恰好有诏书征召于谨担任阁内大都督，于谨于是进献了定都关中的策略，魏帝采纳了。
〔22〕寻而齐神武逼洛阳，谨从魏帝西迁。仍从太祖征潼关，破回洛城，授使持节、车骑大将军、仪同三司、北雍州刺史，进爵蓝田县公，邑一千户。大统元年，拜骠骑大将军、开府仪同三司。其年，夏阳人王游浪聚据杨氏壁谋逆，谨讨擒之。是岁，大军东伐，谨为前锋。至盘豆，东魏将高叔礼守险不下，攻破之。拔虏其卒一千。因此拔弘农，擒东魏陕州刺史李徽伯。齐神武至沙苑，谨从太祖与诸将力战，破之，进爵常山郡公，增邑一千户。又从战河桥，拜大丞相府长史，兼大行台尚书。稽胡帅夏州刺史刘平叛，谨率众讨平之。除大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。入为太子太师。九年，复从太祖东征。别攻柏谷坞，拔之。邙山之战，大军不利，谨率其麾下伪降，立于路左。齐神武军乘胜逐北，不以为虞。追骑过尽，谨乃自后击之，敌人大骇。独孤信又集兵士于后奋击，齐神武军遂乱，以此大军得全。十二年，拜尚书左仆射，领司农卿。及侯景款附，请兵为援，太祖命李弼率兵应之。谨谏曰：“侯景少习兵权，情实难测。且宜厚其礼秩，以观其变。即欲遣兵，良用未可。”太祖不听。寻复兼大行台尚书、丞相府长史，率兵镇潼关，加授华州刺史，赠秬鬯一卣，圭瓒副焉。俄拜司空，增邑四百户。十五年，进位柱国大将军。齐氏称帝，太祖征之，以谨为后军大都督。别封一子盐亭县侯，邑一千户。魏恭帝元年，除雍州刺史。
不久，北齐神武帝高欢逼近洛阳，于谨跟随西魏文帝向西迁移。接着又跟从太祖宇文泰征讨潼关，攻破了回洛城，被授予使持节、车骑大将军、仪同三司、北雍州刺史，晋爵为蓝田县公，食邑一千户。大统元年，被任命为骠骑大将军、开府仪同三司。同年，夏阳人王游浪聚集人马占据杨氏壁谋反，于谨讨伐并擒获了他。这一年，大军东征，于谨担任前锋。到达盘豆，东魏将领高叔礼据守险要难以攻克，于谨攻破了他，俘虏了他的士兵一千人。乘势攻下弘农，擒获东魏陕州刺史李徽伯。北齐神武帝到达沙苑，于谨跟随太祖与诸将奋力作战，打败了他，晋爵为常山郡公，增加食邑一千户。又跟随在河桥作战，被任命为大丞相府长史，兼大行台尚书。稽胡首领夏州刺史刘平反叛，于谨率领部众讨伐平定了。被任命为大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。入朝担任太子太师。九年，又跟随太祖东征。另外攻打柏谷坞，攻克了它。邙山之战，大军形势不利，于谨率领自己的部下假装投降，站在路旁。北齐神武帝的军队乘胜追击败兵，没有戒备。追击的骑兵全部过去后，于谨就从后面攻击他们，敌人大为惊恐。独孤信又聚集士兵从后面奋力攻击，北齐神武帝的军队于是混乱，因此大军得以保全。十二年，被任命为尚书左仆射，兼管司农卿事务。等到侯景诚心归附，请求派兵援助，太祖命令李弼率兵接应。于谨进谏说：“侯景从小学习兵法，他的心思实在难以猜测。应当先提高对他的礼遇等级，来观察他的变化。如果立即派兵，实在不合适。”太祖不听。不久又兼任大行台尚书、丞相府长史，率兵镇守潼关，加授华州刺史，赏赐黑黍酒一卣，并配以圭瓒。不久被任命为司空，增加食邑四百户。十五年，进升为柱国大将军。北齐称帝后，太祖征讨它，任命于谨为后军大都督。另外封他一个儿子为盐亭县侯，食邑一千户。魏恭帝元年，被任命为雍州刺史。
〔23〕初，梁元帝平侯景之后，于江陵嗣位，密与齐氏通使，将谋侵轶。其兄子岳阳王詧时为雍州刺史，以梁元帝杀其兄誉，遂结仇隙。据襄阳来附，仍请王师。乃令谨率众出讨。太祖饯于青泥谷。长孙俭问谨曰：“为萧绎之计，将欲如何？”谨曰：“耀兵汉、沔，席卷渡江，直据丹阳，是其上策；移郭内居民，退保子城，峻其陴堞，以待援至，是其中策；若难于移动，据守罗郭，是其下策。”俭曰：“揣绎定出何策？”谨曰：“必用下策。”俭曰：“彼弃上而用下，何也？”对曰：“萧氏保据江南，绵历数纪。属中原多故，未遑外略。又以我有齐氏之患，心谓力不能分。且绎懦而无谋，多疑少断。愚民难与虑始，皆恋邑居，既恶迁移，当保罗郭。所以用下策也。”谨乃令中山公护及大将军杨忠等，率精骑先据江津，断其走路。梁人竖木栅于外城，广轮六十里。寻而谨至，悉众围之。梁主屡遣兵于城南出战，辄为谨所破。旬有六日，外城遂陷。梁主退保子城。翌日，率其太子以下，面缚出降，寻杀之。虏其男女十余万人，收其府库珍宝。得宋浑天仪、梁日晷铜表、魏相风乌、铜蟠螭趺、大玉径四尺围七尺、及诸舆辇法物以献，军无私焉。立萧詧为梁主，振旅而旋。太祖亲至其第，宴语极欢。赏谨奴婢一千口，及梁之宝物，并金石丝竹乐一部，别封新野郡公，邑二千户。谨固辞，太祖不许。又令司乐作《常山公平梁歌》十首，使工人歌之。
当初，梁元帝在平定侯景之乱后，在江陵继承皇位，私下里和北齐派使者往来，打算侵犯偷袭北周。他的侄子岳阳王萧詧当时担任雍州刺史，因为梁元帝杀了他的哥哥萧誉，所以结下了仇恨。萧詧占据襄阳前来归附，并请求北周出兵援助。于是朝廷命令于谨率领军队出征讨伐。太祖宇文泰在青泥谷为他们饯行。长孙俭问于谨：“替萧绎筹划计谋，他会怎么做？”于谨说：“在汉水、沔水一带炫耀兵力，然后像卷席子一样渡江，直接占据丹阳，这是上策；把外城的居民迁到内城，退守子城，加固城墙和女墙，等待援军到来，这是中策；如果难以搬迁，就据守外城，这是下策。”长孙俭问：“你估计萧绎会采用哪种计策？”于谨说：“他一定用下策。”长孙俭问：“他为什么放弃上策而用下策呢？”于谨回答说：“萧氏家族占据江南，已经持续了几十年。赶上中原战乱不断，没有空闲对外扩张。又因为我们有北齐这个祸患，他心里认为我们不可能分散兵力。而且萧绎懦弱没有谋略，多疑而少决断。老百姓难以和他们商量开创事业，都留恋自己的住所，既然讨厌搬迁，就一定会保卫外城。所以他会用下策。”于谨于是命令中山公宇文护和大将军杨忠等人，率领精锐骑兵先占据江边渡口，切断他的逃跑路线。梁朝人在外城竖起木栅栏，方圆达到六十里。不久于谨就赶到了，带领全部军队包围了外城。梁元帝多次派兵在城南出战，都被于谨打败。十六天后，外城陷落。梁元帝退守内城。第二天，他带领太子以下的大小官员，双手反绑出城投降，不久被杀死。于谨他们俘虏了男女十多万人，收缴了府库中的珍宝。获得刘宋时期的浑天仪、梁朝的日晷铜表、曹魏的相风乌、铜蟠螭底座、直径四尺周长七尺的大玉，以及各种车驾和礼仪器具，进献给朝廷，军队里没有私吞任何东西。于是立萧詧为梁朝君主，整顿军队班师回朝。太祖亲自到于谨的府邸，设宴谈话，极为高兴。赏赐给于谨奴婢一千人，还有梁朝的宝物，以及一部金石丝竹乐器，另外封他为新野郡公，食邑两千户。于谨坚决推辞，太祖没有答应。又命令司乐官制作《常山公平梁歌》十首，让乐工歌唱。
〔24〕谨自以久当权势，位望隆重，功名既立，愿保优闲。乃上先所乘骏马及所著铠甲等。太祖识其意，乃曰：“今巨猾未平，公岂得便尔独善。”遂不受。六官建，拜大司寇。
谨自己觉得掌权时间长了，地位高名声大，功业名声都已经建立，想要保持悠闲清静。于是上交了以前骑的骏马和穿的铠甲等物品。太祖看穿了他的心思，说：“现在大奸贼还没有平定，您怎么能就这样只顾自己安逸呢？”于是没有接受。后来六官制度建立，任命谨担任大司寇。