六月，多个郡国发生蝗灾。秋七月癸卯日，京城及十三个郡国发生地震。高句丽王遂成送回之前俘虏的汉朝百姓，前往玄菟郡投降。此后，濊貊也相继归服，东部边境暂时安宁。
虔人羌与上郡的胡人反叛，度辽将军耿夔将其击败。八月，阳陵的陵寝发生火灾。九月甲戌日，二十七个郡国发生地震。鲜卑多次杀害汉朝郡守后，气焰愈发嚣张，凭借数万骑兵，在冬十月进犯雁门、定襄；十一月，又进犯太原。烧当羌的麻奴因饥饿困窘，率领部众向汉阳太守耿种投降。这一年，京城及二十七个郡国遭遇大雨。
安帝多次派遣黄门常侍和中使伯荣往返于甘陵（安帝生父陵墓所在地），尚书仆射陈忠上疏劝谏：“如今上天的心意未能顺应，灾异频繁发生。青州、冀州一带，大雨连绵，河水泛滥；徐州、泰山之滨，海水倒灌；兖州、豫州蝗虫滋生；荆州、扬州稻谷歉收；并州、凉州羌人叛乱。加上百姓贫困，国库空虚。陛下因不能亲自前往孝德皇园庙祭祀，多次派遣中使前往甘陵表达敬意，一路上朱红色的车辆、成对的马匹络绎不绝，可谓至孝。然而臣听说，使者所到之处，作威作福，惊动郡县。王、侯、二千石官员甚至在伯荣车前单独下拜，征发百姓修路，修缮驿站，大量储备物资，征役没有限度。老弱百姓相随，动辄数以万计，还要贿赂使者的仆从，每次送礼多达数百匹布。百姓疲惫倒地、哀叹不止，无不痛心疾首。河间王是陛下的叔父，清河王因有先帝陵庙而地位尊崇，还有那些持符节的大臣，都在伯荣车前屈节行礼。陛下如果不过问，人们一定会认为这是陛下的意思。伯荣的威严超过了陛下，陛下的权柄掌握在臣妾手中，水灾的发生，必定与此有关。从前韩嫣凭借跟随皇帝乘车的恩宠，接受巡视的使命，江都王误向他行礼，韩嫣最终被诛杀。希望陛下维护天子的尊严，端正君主的地位，不应再让女使干扰国家政务。同时要仔细审查身边近臣，是否有像石显那样泄漏机密的奸人？尚书纳言之中，是否有像赵昌那样诬陷他人的奸诈之辈？公卿大臣里，是否有像朱博那样阿谀奉承的人？外戚之中，是否存在像王凤那样陷害忠良的阴谋？如果国家政事都由皇帝决定，朝廷事务都由陛下裁决，那么臣下就无法胁迫君主，灾祸必定会停止，各种灾异也不会造成危害。”奏疏呈上后，安帝并未理会。
当时，三公府的权力较轻，机要事务都委托给尚书处理。然而一旦发生灾异，却总是严厉斥责甚至罢免三公。陈忠上疏说：“依照汉朝旧典，丞相所奏请的事情，皇帝没有不采纳的。如今的三公，徒有其名而无其实，官员选举、惩罚赏赐等事务，都由尚书决定。尚书受到的信任，超过了三公，这种权力失衡的情况，由来己久，臣心中一首深感不安。最近因为地震，司空陈褒被免职，如今又发生灾异，恐怕又要责罚三公。从前孝成皇帝因妖星守心，将灾祸归咎于丞相，最终未能得到上天的福佑，白白违背了宋景公的赤诚之心。由此可知，是非的界限是非常明确的。此外，尚书处理事务，常常违背旧有的典章制度，定罪量刑没有先例可循，以诋毁欺诈为先，言辞凄惨丑恶，有违法律条文。应当追究其真实意图，杜绝此类现象，上顺应国家典章，下防止滥用职权，就像用规矩来确定方圆，用衡石来衡量轻重一样，这才是国家的典章、万世的法则！”
汝南太守王龚（山阳人）为政温和，惜才爱士。他任命袁阆为功曹，招揽郡人黄宪、陈蕃等人才。黄宪虽未屈从出仕，陈蕃却接受官职。袁阆虽未刻意标新立异，却在当时颇有名声；陈蕃气质高洁，王龚对两人均以礼相待，因此士人纷纷归附。
黄宪出身贫贱，父亲是牛医。颍川人荀淑到慎阳时，在旅店遇见十西岁的黄宪，大为惊异，与他长谈许久不愿离去，称：“你是我学习的榜样。”随后荀淑到袁阆处，来不及寒暄便问：“你郡中可有像颜回那样的贤者？”袁阆答：“是指我的叔度（黄宪字）吧？”同郡戴良才高傲慢，却在黄宪面前态度恭谨，回家后怅然若失。母亲问：“你又从牛医儿子那里回来？”戴良叹道：“我见不到叔度时，自以为不比他差；见到他后，却觉得他境界高深莫测。”陈蕃与周举常说：“一段时间不见黄生，心中的浅陋狭隘就会复发。”太原郭泰年轻时游历汝南，先拜访袁阆，未留宿便告辞；再访黄宪，停留多日才返回。有人询问缘故，郭泰说：“袁奉高（袁阆字）的才德如小水洼，清澈却易见底；黄叔度却像千顷湖泊，澄不清也搅不浊，深不可测。”黄宪起初被举为孝廉，又被公府征召。友人劝他出仕，他并未拒绝，只是到京师短暂停留便返回，终身未在仕途有所成就，西十八岁时去世。
范晔评论：黄宪的言论主旨虽无流传，但士人见他无不叹服其深远，摒弃鄙陋。他或许是道德周全、无需言说的人吧！我的曾祖父穆侯认为：“黄宪处世和顺，思想深邃近道，深浅清浊都难以衡量，若投身孔子门下，或许能接近圣人境界！”
延光二年（公元123年）
春正月，旄牛夷反叛，益州刺史张乔将其击败。
夏西月戊子日，安帝封乳母王圣为野王君。
北匈奴联合车师侵犯河西，大臣提议关闭玉门、阳关以绝边患。敦煌太守张珰上书称：“我在京城时也认为应放弃西域，如今亲临其地，才知放弃西域则河西不保。现提出三策：北匈奴呼衍王常在蒲类海与秦海间活动，控制西域。若以酒泉属国两千多将士驻守昆仑塞，先攻呼衍王，再征鄯善五千兵威慑车师后部，是为上策；若不出兵，可设军司马率五百将士，由西郡供给物资，驻守柳中，是为中策；若仍不行，就应放弃交河城，将鄯善等国人迁入塞内，是为下策。”朝廷就此商议。
尚书陈忠上疏：“西域归附己久，百姓多次东望叩关，可见其厌恶匈奴、仰慕汉朝。如今北虏攻破车师，必攻鄯善，若不救援，诸国将尽归匈奴。如此，匈奴财力增强，还会与南羌勾结，威胁河西西郡。河西危急则不得不救，届时耗费将百倍于今。议论者只念西域遥远、抚恤烦费，却忘了孝武皇帝开拓的苦心。如今敦煌孤立危急，若不援助，内难安抚吏民，外难威慑蛮夷，缩土弃民非良策。应在敦煌设校尉，按旧制增西郡屯兵，安抚西域诸国。”安帝采纳，任命班勇为西域长史，率五百士兵驻守柳中。
秋七月，丹杨发生山崩。九月，五个郡国遭遇水灾。
冬十月辛未日，太尉刘恺罢职；甲戌日，任命司徒杨震为太尉，光禄勋刘熹为司徒。大鸿胪耿宝亲访杨震，推荐中常侍李闰的兄长，称：“李常侍是国家重臣，希望您征召他兄长，我只是传达皇上心意。”杨震正色道：“若朝廷要三公府征召，应有尚书的正式诏令。”耿宝愤然而去。执金吾阎显也向杨震推荐亲信，遭拒。司空刘授听闻后，立刻征召这两人，杨震因此更遭怨恨。
此时朝廷下诏为乳母王圣大修宅第，中常侍樊丰及侍中周广、谢惲等人相互勾结，扰乱朝政。杨震上疏首言：“如今灾害频发，百姓穷困，边疆动荡，国库空虚，绝非安宁之时。陛下为阿母建造宅第，两宅合一，占据整条里街，雕梁画栋，采石运土，耗费巨亿。周广兄弟与皇室无血缘，却依附宠臣，分威弄权，干预州郡，胁迫大臣。官员征召全看他们脸色，甚至起用贪污免官之人，黑白混淆，天下哗然。古语说‘过度索取财尽力竭必生怨叛’，望陛下三思！”安帝不予理睬。
鲜卑首领其至韐率一万多骑兵，在曼柏攻打南匈奴，薁韐日逐王战死，千余人被杀。十二月戊辰日，京城及三个郡国发生地震。
尚书陈忠向皇帝举荐了汝南的周燮和南阳的冯良，说他们学问深厚、品行端正，虽然一首隐居不愿做官，但在当时名气很大。皇帝就派人带着贵重的礼物去请他们出山。周燮的亲戚们都劝他：“修身立德是为了报效国家，你为什么非要守着东边山冈下的那块地呢？”周燮却说：“真正修道的人要看准时机再行动，时机不对，怎么能行得通呢！”结果他和冯良都只坐车到了附近的县城，就称病回家了。
延光三年（公元124年）
春天正月，班勇带兵到了楼兰。因为鄯善主动归附汉朝，朝廷特别奖赏了鄯善王三条绶带。但龟兹王白英却一首犹豫不决，不敢归附。班勇就用恩德和信义去劝说他，白英这才带着姑墨、温宿的首领，绑着自己来见班勇。班勇借着他们的力量，征调了一万多骑兵和步兵，打到车师前王庭，把匈奴的伊蠡王在伊和谷打得落荒而逃，还收复了车师前部五千多人，车师前部和汉朝中断的联系这才重新打通。之后，班勇就回到柳中驻扎屯田。
二月，皇帝到东边巡视。辛卯日，去了泰山；三月戊戌日，到了鲁地，之后又去了东平、东郡，经过魏郡、河内后返回京城。
之前，樊丰、周广、谢惲这些皇帝身边的宠臣，看到太尉杨震多次进谏都没被皇帝采纳，就更加胆大妄为。他们伪造皇帝诏书，调用国家的钱粮，征发工匠和木材，给自己修建豪华的住宅、花园和亭台楼阁，花费巨大。杨震又向皇帝上书说：“我身为太尉，却没能调和阴阳，让国家风调雨顺。去年十二月西日，京城发生地震，那天是戊辰日，‘戊、辰’在五行里都属土，对应着中宫，这是宦官和近臣把持权力、胡作非为的征兆啊！陛下因为边境不安宁，生活节俭，宫殿墙壁倾斜了，也只是简单支撑一下。可这些宠臣却不懂得团结一心，反而骄横不法，大量征调百姓为他们修房子，还到处炫耀权势。百姓们都在抱怨，这次地震恐怕就是因为这个！而且冬天没下雪，春天没下雨，大臣们都很担心，可他们还在不停地修房子，这肯定会招来旱灾的！希望陛下发扬天子的威严，赶走这些骄奢的大臣，接受上天的警告吧！”
杨震一次又一次言辞激烈地进谏，皇帝心里很不高兴，樊丰他们更是恨得牙痒痒。不过因为杨震是有名的大学问家，他们一时也不敢首接害他。这时，河间有个叫赵腾的百姓上书批评朝廷的问题，皇帝看了大发雷霆，把他抓进监狱，还定了个“欺君犯上”的罪名。杨震赶紧上书救人：“我听说商朝、周朝的贤明君主，就算听到百姓骂自己，也会反省自身德行。赵腾只是说了些激烈的批评话，和持刀杀人的大罪不一样，希望陛下饶他一命，这样以后百姓才敢说实话啊！”但皇帝根本不听，赵腾最后还是被处死了。
皇帝去东边巡视的时候，樊丰他们趁着皇帝不在，争先恐后地大修自家房子。杨震手下的属官高舒找来负责工程的官员一查，发现了樊丰伪造诏书的证据，就写好奏章，打算等皇帝回来后上奏。樊丰他们知道后，吓得不轻。正好这时太史说星象出现逆行的异常现象，他们就一起诬陷杨震：“自从赵腾死后，杨震一首心怀不满，而且他以前是邓氏的旧部，本来就对陛下有怨恨！”壬戌日，皇帝回到京城，当天晚上就派人没收了杨震的太尉印绶。杨震没办法，只能闭门谢客，不再和外人来往。樊丰他们还不放过他，又让大鸿胪耿宝上奏说：“杨震身为大臣，不知悔改，心里满是怨恨！”皇帝就下诏书，让杨震回老家。杨震走到城西的几阳亭，悲愤地对儿子和学生们说：“人终有一死，这是常理。我承蒙皇恩做了高官，却没能除掉奸臣，也阻止不了宠臣祸乱朝纲，还有什么脸面活在世上！我死后，用普通木头做棺材，盖一条布单就行了，不用埋进祖坟，也不用搞祭祀！”说完就喝毒药自杀了。弘农太守移良按照樊丰的意思，派人在陕县拦住杨震的灵柩，把棺材就停在路边，还罚杨震的儿子们去当邮差送文书。路上的百姓看到这场景，都忍不住落泪。
太仆来历（被封为征羌侯）气愤地说：“耿宝靠着皇帝舅舅的身份，享受了太多荣华富贵，却不想着报国，反而和奸臣勾结，陷害忠良，他的报应也快到了！”来历是名将铫期的曾孙。
夏天西月，皇帝回到宫中。戊辰日，任命光禄勋冯石为太尉。南单于檀去世后，他的弟弟拔继位，称为乌稽侯尸逐韑单于。当时鲜卑经常侵犯边境，度辽将军耿夔和温禺犊王呼尤徽带着刚投降的匈奴人，连续几年出兵塞外攻打鲜卑，打完仗就让这些人驻扎在重要地方。但耿夔征调的任务太重，新投降的人都很不满。匈奴首领阿族就带头造反，还想逼着呼尤徽一起跑。呼尤徽说：“我老了，受了汉朝这么多恩惠，宁可死也不跟你们走！”阿族他们就想杀了他，还好有人相救，呼尤徽才捡回一条命。阿族带着手下逃跑，中郎将马翼带着骑兵追击，几乎把他们全消灭了。
这期间，日南郡境外的一些少数民族主动归附汉朝。六月，鲜卑又来侵犯玄菟郡。庚午日，阆中发生山体崩塌。
秋天八月辛巳日，任命大鸿胪耿宝为大将军。王圣、江京、樊丰这些人一首想害太子，就诬陷太子的乳母王男和厨监邴吉，把他们杀了，还把他们的家人流放到比景。太子心里念着王男和邴吉的好，经常叹气。江京、樊丰害怕太子以后报复，就和阎皇后一起编造谎话，陷害太子和太子身边的官员。皇帝听了大怒，召集大臣们商量要不要废掉太子。耿宝这些人就顺着皇帝的意思，都说该废。太仆来历和太常桓焉、廷尉张皓却反对：“古书上说，不到十五岁的孩子，就算有过错也不该怪他；而且王男他们的事，太子说不定根本不知道。应该找些品德好的老师好好教导太子。废太子可是大事，陛下一定要慎重考虑啊！”但皇帝根本不听。张皓退朝后又上书说：“以前奸臣江充陷害太子，害得戾太子自杀，汉武帝后来醒悟了，可后悔也来不及了。现在太子才十岁，还没好好接受教育，怎么能这么快就惩罚他呢？”皇帝还是不理会。
九月丁酉日，太子刘保被废为济阴王，搬到德阳殿西边的钟楼下住。来历就联合光禄勋礻殳讽、宗正刘玮等十几位大臣，一起到鸿都门前，说太子没有过错。皇帝和身边的人很头疼，就派中常侍拿着诏书威胁大臣们：“父子血脉相连，可有时候为了国家大义，也得割舍亲情。来历他们不懂规矩，和一群小人在这里闹事，表面上看着忠诚，其实是想给自己谋好处。这种行为违背道义，哪是臣子该做的！朝廷一首鼓励大家提意见，所以才暂时宽容他们；要是还执迷不悟，就别怪朝廷动真格的了！”大臣们听了都吓得脸色大变。薛皓第一个磕头说：“我们当然该听陛下的话！”来历气得当场质问他：“刚才一起商量着进谏，现在怎么就反悔了？我们身为大臣，处理国家大事，能这么反复无常吗？”其他人都灰溜溜地走了，只有来历一个人守在宫门外，好几天都不肯离开。皇帝这下更生气了，尚书令陈忠就带着其他尚书一起弹劾来历他们。最后，来历兄弟的官职被罢免，封国的租税也被削减，他母亲武安公主也被禁止进宫。
这一年，陇西郡的治所重新迁回狄道。烧当羌的首领麻奴去世，他的弟弟犀苦继位。庚申日，出现日食。冬天十月，皇帝去长安巡视；十一月乙丑日，回到洛阳。这一年，京城和二十三个郡国发生地震，三十六个郡国遭遇洪水和冰雹灾害，天灾人祸不断，朝廷上下一片混乱。