行长安城中的晨钟暮鼓夜禁之制，说出来之后，很多事不关己的大臣们表示赞同，房琯便以为此事得人心，于是兴冲冲的去跟玄宗禀报。然而玄宗只是淡淡的说了句“此事要问问王源的意见，他同意了便可实行了。”
房琯不懂为什么要问王源，但后来他明白了，城里所有的兵马几乎都是王源的神策军兵马，连拨给陛下身边守卫的五千禁卫都是。要夜禁必须要有巡街的武侯，而这些人也只能向王源要。否则难道自己亲自上街赶着百姓回家不成？于是房琯不得已跑去和王源商议此事，而王源的回答让他气炸了肺。
“相国该想着如何让朝廷运转如意，如何安置约束官员们守规矩，至于成都府的治安问题，我在这里这么多年并没有实行夜禁之制，也没出什么篓子。最近确实有不少案件发生，但我查过了，那都是从京城来的官员贵族们闹出来的事情。况且夜禁之制是否是好事，我看不见得。你要规划坊墙大兴土木，还要抽调兵马成为巡城武侯，这些都耗费巨大的人力物力。房相国莫非还以为大唐天下太平无事，还以为这些钱财物事可以随意挥霍浪费不成？相国该学学去做正经于恢复局势有利的事情，而非在这些无关紧要的地方做文章。成都不是京城，房相国别弄错了这一点。”
王源的话温和而有杀伤力，这是在训斥自己不干正事，胡搞瞎搞了。房琯既愤怒又委屈，韦见素大小事务一把抓着，自己想了很久才想出这么件能着手的事情来，本拟会一鸣惊人有所功绩，但却被王源一言否决。王源说话时的表情倒像是自己是王源手下的一名官吏一般，那里有半分对相国的尊重？
这还只是其中的一件而已，还有好几次房琯都在王源那里碰了一鼻子灰回来，这些不愉快的经历，在房琯的心中积聚起来。平日和玄宗在一起时，陛下谈及王源时言语中似乎也有着很多的不满和无奈，一副欲言又止的样子。房琯揣测，玄宗对王源肯定也是不满的，于是今日借着机会便爆发出来，决心要杀一杀王源的威风。