始元五年（公元前82年）夏六月，封上官安为桑乐侯。上官安日益骄纵淫逸，在宫中接受赏赐后，对宾客说：“与我的女婿一起喝酒，看到他的服饰，我派人回家后都想把自家的东西烧了。”他的儿子生病死了，他仰头大骂上天，行为乖张到了极点。
元凤元年（公元前80年），上官桀父子地位尊贵后，感激盖长公主，想为丁外人谋求封侯，霍光没有答应。他们又为丁外人谋求光禄大夫的职位，想让他能有机会被皇帝召见，霍光依旧没有同意。盖长公主因此对霍光极为怨恨。而上官桀和上官安多次为丁外人求官爵都未能如愿，也感到很羞愧。此外，上官桀妻子的父亲所宠信的充国担任大医监，因擅自闯入宫殿而被下狱，判处死刑。眼看冬月将尽，盖长公主为充国进献二十匹马赎罪，充国才得以减免死罪。于是，上官桀父子对霍光的怨恨愈发深重，却更加感激盖长公主。从先帝时期起，上官桀就已担任九卿，地位在霍光之上。等到父子二人都成为将军，皇后又是上官安的女儿，霍光还是皇后的外祖父，可霍光却独揽朝政大权，这让上官桀心生不满，开始与霍光争权。
燕王刘旦自认为是昭帝的兄长，却没能继承皇位，心中一直心怀怨恨。御史大夫桑弘羊因制定了酒类专卖、盐铁官营等政策，为国家增加了财富，居功自傲，想为自己的子弟谋取官职，却遭到霍光的拒绝，因此也怨恨霍光。于是，盖长公主、上官桀、上官安和桑弘羊都与燕王刘旦勾结谋划。刘旦派孙纵之等前后十多批人，携带大量金银财宝、良马，贿赂盖长公主、上官桀和桑弘羊等人。
上官桀等人又派人假冒燕王的名义上书，说霍光到京都郊外检阅郎官和羽林军时，在路上像皇帝出行那样设置威仪，太官提前为他准备饮食；还提到苏武出使匈奴二十年不投降，回国后才被任命为典属国，而大将军长史杨敞毫无功劳，却被任命为搜粟都尉；霍光还擅自增调幕府校尉，独揽大权，肆意妄为，恐怕有阴谋。燕王刘旦表示愿意交回符玺，入宫担任宿卫，以监察奸臣的动向。他们打算等霍光休假外出时上奏这份奏章，上官桀准备从中处理此事，让桑弘羊与其他大臣一起将霍光抓起来并罢黜他。奏书呈上后，汉昭帝却不肯批复。
第二天早上，霍光得知此事后，停留在画室中不敢进宫。汉昭帝问道：“大将军在哪里？”左将军上官桀回答说：“因为燕王告发他的罪行，所以不敢进宫。”汉昭帝下诏召见大将军霍光。霍光进宫后，摘下帽子，叩头谢罪。汉昭帝说：“将军请戴上帽子，我知道这奏书是假的，将军没有罪过。”霍光问道：“陛下怎么知道的呢？”汉昭帝说：“将军去广明亭检阅郎官是最近的事，调选校尉到现在也不到十天，燕王怎么会这么快就知道这些事呢？况且将军要是想谋反，也不需要校尉。”当时汉昭帝年仅十四岁，尚书及左右大臣都十分惊讶。而上奏书的人果然逃跑了，官府追捕得很急。上官桀等人害怕了，就对汉昭帝说：“这是小事，不值得穷追不舍。”汉昭帝没有听从。后来，上官桀的党羽中有人诋毁霍光，汉昭帝就愤怒地说：“大将军是忠臣，是先帝托付他来辅佐我的，有谁敢诋毁他，我就治谁的罪！”从此，上官桀等人不敢再提及此事。
