〔7〕十五年六月，玄宗苍黄幸蜀，大臣陈希烈、张倚等衔于失恩，不时赴难。琯结张均、张垍兄弟与韦述等行至城南十数里山寺，均、垍同行，皆以家在城中，逗留不进，琯独驰蜀路。七月，至普安郡谒见，玄宗大悦，即日拜文部尚书、同中书门下平章事，赐紫金鱼袋。从幸成都，加银青光禄大夫，仍与一子官。其年八月，与左相韦见素、门下侍郎崔涣等奉使灵武，册立肃宗。至顺化郡谒见，陈上皇传付之旨，因言时事，词情慷慨，肃宗为之改容。时潼关败将王思礼、吕崇贲、李承光等引于纛下，将斩之，琯从容救谏，独斩承光而已。肃宗以琯素有重名，倾意待之，琯亦自负其才，以天下为己任。时行在机务，多决之于琯，凡有大事，诸将无敢预言。寻抗疏自请将兵以诛寇孽，收复京都，肃宗望其成功，许之。诏加持节、招讨西京兼防御蒲潼两关兵马节度等使，乃与子仪、光弼等计会进兵。琯请自选参佐，乃以御中史中丞邓景山为副，户部侍郎李揖为行军司马，中丞宋若思、起居郎知制诰贾至、右司郎中魏少游为判官，给事中刘秩为参谋。既行，又令兵部尚书王思礼副之。琯分为三军：遣杨希文将南军，自宜寿入；刘悊将中军，自武功入；李光进将北军，自奉天入。琯自将中军，为前锋。十月庚子，师次便桥。辛丑，二军先遇贼于咸阳县之陈涛斜，接战，官军败绩。时琯用春秋车战之法，以车二千乘，马步夹之。既战，贼顺风扬尘鼓噪，牛皆震骇，因缚刍纵火焚之，人畜挠败，为所伤杀者四万余人，存者数千而已。癸卯，琯又率南军即战，复败，希文、刘悊并降于贼。琯等奔赴行在，肉袒请罪，上并宥之。
天宝十五年六月，唐玄宗仓皇逃往蜀地，大臣陈希烈、张倚等人因为失宠，没有及时奔赴国难。房琯联合张均、张垍兄弟和韦述等人走到城南十几里的山寺，张均、张垍同行，都因为家在城中，逗留不前，只有房琯独自骑马赶往蜀地。七月，到达普安郡谒见玄宗，玄宗非常高兴，当天任命他为文部尚书、同中书门下平章事，赐紫金鱼袋。跟随玄宗到成都，加银青光禄大夫，并授予他一个儿子官职。同年八月，和左相韦见素、门下侍郎崔涣等人奉命出使灵武，册立肃宗。到达顺化郡谒见肃宗，陈述太上皇传位的旨意，并谈论当时形势，言辞慷慨，肃宗为之动容。当时潼关败将王思礼、吕崇贲、李承光等人被押在军旗下，将要斩首，房琯从容劝谏，只斩了李承光一人。肃宗因为房琯一向有重名，诚心对待他，房琯也自负才能，以天下为己任。当时行在的机要事务，大多由房琯决定，凡有大事，诸将不敢预先发表意见。不久房琯上疏主动请求领兵讨伐贼寇，收复京都，肃宗希望他成功，答应了。下诏加封他为持节、招讨西京兼防御蒲潼两关兵马节度等使，于是和郭子仪、李光弼等商议进兵。房琯请求自己挑选僚属，于是以御史中丞邓景山为副使，户部侍郎李揖为行军司马，中丞宋若思、起居郎知制诰贾至、右司郎中魏少游为判官，给事中刘秩为参谋。出发后，又令兵部尚书王思礼做他的副手。房琯把军队分为三军：派杨希文率领南军，从宜寿进入；刘悊率领中军，从武功进入；李光进率领北军，从奉天进入。房琯亲自率领中军，作为前锋。十月庚子日，军队驻扎在便桥。辛丑日，两军先在咸阳县的陈涛斜遇到贼军，交战，官军大败。当时房琯采用春秋时代的车战法，用两千辆战车，骑兵步兵夹在中间。开战后，贼军顺风扬尘，擂鼓呐喊，牛都受惊害怕，于是贼军绑扎草把放火焚烧，人畜混乱败退，被杀伤的有四万多人，存活下来的只有几千人。癸卯日，房琯又率领南军出战，再次失败，杨希文、刘悊都投降了贼军。房琯等人逃奔到行在，脱去上衣请罪，肃宗都赦免了他们。
〔8〕琯好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。琯既自无庙胜，又以虚名择将吏，以至于败。琯之出师，戎务一委于李揖、刘秩，秩等亦儒家子，未尝习军旅之事。琯临戎谓人曰：“逆党曳落河虽多，岂能当我刘秩等？”及与贼对垒，琯欲持重以伺之，为中使邢延恩等督战，苍黄失据，遂及于败。上犹待之如初，仍令收合散卒，更图进取。
房琯喜欢结交宾客，喜好高谈阔论，但领兵打仗向来不是他的长处。可皇帝听信了他虚浮的名声，指望他能做出实际成效。房琯自己既没有克敌制胜的谋略，又只凭虚名来挑选将领和官吏，以至于打了败仗。房琯出兵时，把军务全扔给李揖和刘秩，而刘秩这些人都是儒家子弟，从来没学过军事。房琯临阵前对人说：“叛军的曳落河虽然多，哪里能比得上我的刘秩等人？”等到和叛军对阵时，房琯本想稳重行事、等待时机，却被宦官邢延恩等人催促出战，他仓促间没了主张，于是打了败仗。皇帝依旧像当初一样对待他，还让他收拢残兵，再图进取。
〔9〕会北海太守贺兰进明自河南至，诏授南海太守，摄御史大夫，充岭南节度使。中谢，肃宗谓之曰：“朕处分房琯与卿正大夫，何为摄也？”进明对曰：“琯与臣有隙。”上以为然。进明因奏曰：“陛下知晋朝何以至乱？”上曰：“卿有说乎？”进明曰：“晋朝以好尚虚名，任王夷甫为宰相，祖习浮华，故至于败。今陛下方兴复社稷，当委用实才，而琯性疏阔，徒大言耳，非宰相器也。陛下待琯至厚，以臣观之，琯终不为陛下用。”上问其故，进明曰：“琯昨于南朝为圣皇制置天下，乃以永王为江南节度，颍王为剑南节度，盛王为淮南节度，制云‘命元子北略朔方，命诸王分守重镇’。且太子出为抚军，入曰监国，琯乃以枝庶悉领大藩，皇储反居边鄙，此虽于圣皇似忠，于陛下非忠也。琯立此意，以为圣皇诸子，但一人得天下，即不失恩宠。又各树其私党刘秩、李揖、刘汇、邓景山、窦绍之徒，以副戎权。推此而言，琯岂肯尽诚于陛下乎？臣欲正衙弹劾，不敢不先闻奏。”上由是恶琯，诏以进明为河南节度、兼御史大夫。
恰逢北海太守贺兰进明从河南来到，肃宗下诏任命他为南海太守，代理御史大夫，充任岭南节度使。入朝谢恩时，肃宗对他说：“朕安排房琯给你正职大夫，为什么是代理呢？”贺兰进明回答说：“房琯和臣有矛盾。”肃宗认为他说得对。贺兰进明于是上奏说：“陛下知道晋朝为什么会乱吗？”肃宗说：“你有什么说法？”贺兰进明说：“晋朝因为崇尚虚名，任用王夷甫为宰相，效仿浮华，所以导致败亡。如今陛下正在复兴社稷，应当任用有实际才能的人，而房琯性情疏阔，只会说大话罢了，不是宰相的材料。陛下待房琯很厚，依臣看来，房琯终究不会为陛下所用。”肃宗问原因，贺兰进明说：“房琯先前在南朝（指玄宗）为太上皇筹划天下，竟然让永王担任江南节度使，颍王担任剑南节度使，盛王担任淮南节度使，制书说‘命长子向北攻略朔方，命诸王分守重镇’。而且太子出外是抚军，入内是监国，房琯却让庶子全部统领大藩，皇储反而处于边远之地，这虽然对太上皇像是忠诚，但对陛下您就是不忠。房琯存了这个心思，以为太上皇的儿子们，只要一个人得到天下，自己就不会失去恩宠。他又各自树立私党刘秩、李揖、刘汇、邓景山、窦绍等人，让他们掌握军事权力。由此推论，房琯岂肯对陛下尽诚呢？臣想在正式朝会上弹劾他，不敢不先奏报。”肃宗从此厌恶房琯，下诏任命贺兰进明为河南节度使、兼御史大夫。
〔10〕崔圆本蜀中拜相，肃宗幸扶风，始来朝谒。琯意以为圆才到，当即免相，故待圆礼薄。圆厚结李辅国，到后数日，颇承恩渥，亦憾于琯。琯又多称病，不时朝谒，于政事简惰。时议以两京陷贼，车驾出次外郊，天下人心惴恐。当主忧臣辱之际，此时琯为宰相，略无匪懈之意，但与庶子刘秩、谏议李揖、何忌等高谈虚论，说释氏因果、老子虚无而已。此外，则听董庭兰弹琴，大招集琴客筵宴。朝官往往因庭兰以见琯，自是亦大招纳货贿，奸赃颇甚。颜真卿时为大夫，弹何忌不孝，琯既党何忌，遽托以酒醉入朝，贬为西平郡司马。宪司又奏弹董庭兰招纳货贿，琯入朝自诉，上叱出之，因归私第，不敢预人事。谏议大夫张镐上疏，言琯大臣，门客受赃，不宜见累。二年五月，贬为太子少师，仍以镐代琯为宰相。其年十一月，从肃宗还京师。十二月，大赦，策勋行赏，加琯金紫光禄大夫，进封清河郡公。琯既在散位，朝臣多以为言，琯亦常自言有文武之用，合当国家驱策，冀蒙任遇。又招纳宾客，朝夕盈门，游其门者，又将琯言议暴扬于朝。琯又多称疾，上颇不悦。乾元元年758六月，诏曰：
崔圆原本是在蜀地被任命为宰相的，肃宗驾临扶风时，他才来朝见。房琯以为崔圆刚到，应该立即免去宰相职务，所以对待崔圆礼节很薄。崔圆厚交李辅国，到后几天，就受到不少恩宠，也对房琯怀恨在心。房琯又经常称病，不时常朝见，处理政事简慢懒惰。当时舆论认为两京陷落，皇帝出行在外，天下人心惶恐不安。在君主忧虑、臣子受辱的时候，房琯身为宰相，没有一点勤勉不懈的意思，只是和庶子刘秩、谏议大夫李揖、何忌等人高谈阔论，谈论佛教因果、老子虚无罢了。此外，就是听董庭兰弹琴，大规模召集琴客宴会。朝官往往通过董庭兰来见房琯，从此房琯也大肆收受贿赂，贪污很严重。颜真卿当时任御史大夫，弹劾何忌不孝，房琯既然袒护何忌，就假托何忌酒醉入朝，把他贬为西平郡司马。御史台又上奏弹劾董庭兰招纳贿赂，房琯入朝为自己辩解，肃宗喝斥他出去，于是他回到私宅，不敢干预政事。谏议大夫张镐上疏，说房琯是大臣，门客受贿，不应连累他。乾元二年五月，房琯被贬为太子少师，并以张镐代替房琯为宰相。同年十一月，跟随肃宗返回京师。十二月，大赦天下，论功行赏，加房琯金紫光禄大夫，进封清河郡公。房琯既在闲散职位，朝臣多为他说话，房琯也常说自己有文武才能，应当为国家效力，希望得到任用。他又招纳宾客，早晚满门，出入其门的人，又把房琯的言论在朝廷上宣扬。房琯又经常称病，肃宗很不高兴。乾元元年六月，下诏说：
〔11〕崇党近名，实为害政之本；黜华去薄，方启至公之路。房琯素表文学，夙推名器，由是累阶清贵，致位台衡。而率情自任，怙气恃权。虚浮简傲者进为同人，温让谨令者捐于异路。所以辅佐之际，谋猷匪弘。顷者时属艰难，擢居将相，朕永怀反席，冀有成功。而丧我师徒，既亏制胜之任；升其亲友，悉彰浮诞之迹。曾未逾时，遽从败绩。自合首明军令，以谢师旅，犹尚矜其万死，擢以三孤。
推崇结党营私、追逐虚名，实在是危害朝政的根本；去除浮华和浅薄，才能开启最公正的道路。房琯一向以文学著称，早就被推举为有名望的人才，因此一步步升到清贵的高官，最终位居宰相之位。但他却任性而为，依仗自己的意气、权势和地位。那些虚浮傲慢、行为简慢的人被他提拔为同党，而温和谦让、谨慎守规矩的人却被排斥到一边。所以他在辅佐朝政的时候，提出的计谋策略并不宏大。近来正值国家艰难之时，他被提拔为将相，我（皇帝）一直辗转反侧、日夜期盼，希望他能成功。可是他不仅让我的军队战败损失，辜负了克敌制胜的职责，还提拔自己的亲友，全都显示出虚浮荒诞的劣迹。没过多久，就迅速遭到惨败。按道理本应首先明正军法，向全军谢罪，但我还是怜悯他，免他一死，把他提拔为三孤这样的高位。