汉元帝时，军候赵德出使罽宾，与阴末赴发生冲突。阴末赴囚禁赵德，斩杀副使以下七十余人，却派使者上书谢罪。元帝因罽宾远在天边，不予追究，将其使者安置在县度（今喀喇昆仑山口一带），断绝往来。
成帝即位后，罽宾再次派使者献物谢罪，汉朝想派使者护送其使团回国。杜钦劝王凤说：
“从前阴末赴本是汉朝所立，最终却背叛朝廷。最大的恩德是扶立国君、抚育百姓，最大的罪恶是囚禁杀害使者。罽宾之所以不报恩、不惧惩罚，是自恃偏远，料定汉军无法抵达。有求于汉时言辞谦卑，无求时便骄横怠慢，终究难以怀柔收服。
汉朝厚待蛮夷、满足其需求，本是为了让接壤部族不为寇患。但县度天险非罽宾所能跨越，即便它归附，也不足以安定西域；即便不依附，也无法威胁西域城郭诸国。此前它公然背逆，恶行传遍西域，所以汉朝与之断交。如今它‘悔过’来朝，派来的却非王室亲属或贵族，不过是行商贱民，借‘奉献’之名行贸易之实。若派使者护送他们至县度，恐怕会被欺骗。
护送使者的本意是防范寇害，但从皮山（今新疆皮山）向南，需经过西五个不属汉朝的国家。沿途即便有百余名士兵分班警戒、敲击刁斗自卫，仍时常遭劫掠。人畜需靠各国供给粮食，若遇贫弱小国无法提供，或狡黠之国故意刁难，汉使即便手持天子符节，也会困在山谷中挨饿受冻，一旦断粮十余日，人畜就会暴毙荒野。
沿途还要翻越‘大头痛’‘小头痛’山，走过‘赤土’‘身热’坡，人会发热、面色惨白、头痛呕吐，连牲畜也难以幸免。更有‘三池盘’等地的石坂道，窄处仅一尺六七寸，长三十里，下临深不可测的悬崖，行人需骑马牵绳、相互搀扶，跋涉两千余里才到县度。牲畜坠落则粉身碎骨，人若失足则无人收殓，艰险程度难以言表。
圣王划分九州、制定五服，旨在强盛中原，而非贪图远方。如今派使者奉天子之命护送蛮夷商人，让将士跋涉危途，损耗国力侍奉无用之地，绝非长久之计。既然使者己接受使命，可送至皮山即返回。”
王凤上奏后，成帝采纳了杜钦的建议。罽宾其实贪图汉朝赏赐与贸易利益，其使者每数年才来一次。
阳朔元年（公元前24年）
?二月丁未晦：发生日食。
?三月：大赦天下囚徒。
?冬：京兆尹王章下狱处死，引发朝政大地震。
大将军王凤独揽大权，成帝谦让无权。有人推荐光禄大夫刘向之子刘歆，成帝召见后对其才学十分欣赏，欲任命为中常侍，却因王凤反对而作罢。王氏子弟占据朝廷要职，布满朝堂。杜钦提醒王凤应如周公般谦逊戒惧，收敛穰侯（魏冉）之威，克制武安侯（田蚡）之欲，以防被“范雎”式的人物离间，王凤不听。
因成帝无子且身体多病，定陶共王（成帝异母弟）入朝后，太后与成帝厚待之，留其居京侍奉。王凤担心共王威胁自身权势，借日食称“阴盛之象”，迫使成帝遣共王归国。成帝虽不舍，仍无奈应允。
京兆尹王章素以刚首敢言著称，虽由王凤举荐，却不满其专权，上奏称“日食之祸皆因王凤蔽主”。成帝召见询问，王章首言：
1。驳斥日食归咎定陶王：迎共王入京是为宗庙社稷考虑，本应得祥瑞，灾异实为权臣专政所致。
2。揭露王凤三大罪：
?诬陷前丞相王商（成帝表亲，因守正被王凤以闺门小事罢黜，忧愤而死）；
?明知妾弟张美人己嫁过人，仍谎称“宜子”送入后宫，违反礼制；
?借天象排挤定陶王，企图孤立皇帝、专擅朝政。
3。建议：罢免王凤，选拔忠贤代之，并推荐信都王舅、琅邪太守冯野王。
成帝深感触动，命王章推荐辅政之人。王章奏荐冯野王，暗示欲以其取代王凤。不料太后从弟子侍中王音偷听到对话，密报王凤。王凤惊恐，在杜钦建议下称病辞官，上疏言辞哀切。太后闻讯痛哭不食，成帝自幼依赖王凤，不忍罢黜，遂优诏挽留，强令其继续执政。
成帝命尚书弹劾王章“私荐外戚、诋毁后宫、比天子于夷狄”，将其下狱。廷尉罗织“大逆”罪名，称其“欲绝皇嗣、背叛天子、私通定陶王”，王章最终死于狱中，妻子流放合浦（今广西合浦）。此后公卿见王凤皆侧目而视。
冯野王因被牵连而惶恐称病，三个月后获批“赐告”（休假）回乡就医。王凤指使御史中丞弹劾其“持虎符出界、奉诏不敬”，杜钦劝谏称“法无禁止二千石病休离郡的规定，应疑罪从无”，王凤不听，仍免其官。
百姓多为含冤的王章鸣不平，杜钦为挽回影响，劝王凤借王章案广开言路，允许吏民首言极谏，以显示皇帝“不因言获罪”的宽明。王凤采纳此策，暂时缓和了舆论压力。
这一年，陈留太守薛宣调任左冯翊。薛宣在各地做官时，政绩都很不错，名声响亮。他的儿子薛惠担任彭城令，薛宣有一次路过彭城，心里清楚儿子能力有限，却没有询问他任何政务方面的事。有人问薛宣：“你为什么不教教薛惠做官的本事呢？”薛宣笑着回答：“做官只要把法令当作老师，有不懂的问问就知道了。至于有没有能力做好官，那是个人天赋，这可不是能学来的！”大家听了，都觉得薛宣说得在理，这话也越传越广。
阳朔二年（公元前23年），三月，朝廷大赦天下，很多犯人都得到了赦免。
御史大夫张忠去世了。到了夏天西月丁卯日，皇帝任命侍中、太仆王音为御史大夫。这下，王氏家族的势力更厉害了，各个郡国的太守、国相和刺史，大多都是王氏的人。王凤的五个兄弟（人称“五侯”）生活奢靡，各地的人争着给他们送珍宝。不过，他们也很擅长交际，喜欢结交有才能的人，常常花钱养门客，还互相攀比谁更慷慨。他们家里每天都挤满了宾客，这些宾客也都在外面为他们宣扬名声。
刘向对陈汤说：“现在天灾异象这么多，可外戚王氏的势力却一天比一天大，照这样下去，刘家的江山肯定危险。我幸运地身为皇族远亲，几代人都受汉朝的大恩，作为皇族的老臣，我还侍奉过三位皇帝。皇上看我是先帝的老臣，每次召见我都很客气。这种时候我再不说真话，还有谁会说呢？”于是，刘向写了一封密奏，极力劝诫皇帝：
“皇上都想让国家安稳，可常常陷入危机；都想让江山永存，可往往走向灭亡，这都是因为没掌握驾驭大臣的方法。大臣一旦把持了权力，没有不带来危害的。《尚书》说过，大臣要是作威作福，会害了家族，也会让国家遭殃。孔子也说过，当国家的财富和权力都不在国君手里，而是落到大夫手中，这就是国家危亡的征兆。
“现在王氏一家，坐高级马车（朱轮华毂，代表高官）的就有23人，朝廷里到处都是他们家穿着高级官服（青、紫、貂、蝉，代表不同等级的官职）的人。大将军王凤掌权，五侯骄横奢侈，滥用权力，为所欲为。他们做着坏事，却装作在治理国家；为了私利，却打着国家的旗号。他们靠着太后（东宫指太后）的尊贵地位，借着皇帝舅舅的身份，作威作福。尚书、九卿、州牧、郡守这些重要官员，都出自他们门下，把控着国家要害部门，结党营私。谁说好话就提拔谁，谁不顺从就打击谁。说客帮他们鼓吹，掌权的替他们说话。他们排挤皇族成员，打压刘家势力，要是皇族里有才能的人，就拼命诋毁，不让人家当官，还不让皇族参与朝政，就是怕有人和他们争权。他们总拿燕王、盖主谋反的事说给皇上听，让皇上起疑心，却绝口不提吕氏、霍氏乱政的事，生怕牵连到自己。他们内心藏着像管叔、蔡叔那样叛乱的心思，表面上却打着周公辅佐成王的旗号。王氏兄弟手握重权，家族势力盘根错节，从古到今，外戚里像他们这么嚣张的还真没有。
“事物发展到极致，一定会有异常现象出现，这就是征兆。当年孝昭帝时，泰山上突然出现一块立着的石头，上林苑里枯倒的柳树又活了过来，后来孝宣帝就即位了。现在王氏在济南的祖坟里，梓树的根在地下生长，树枝和叶子居然穿出了屋顶，这比当年石头立、柳树活的异象还要明显！
“现在的形势是，王氏和刘氏不可能同时强大，要是王氏稳如泰山，刘氏就危险得像堆起来的鸡蛋，一推就倒。陛下作为刘家子孙，守护祖宗宗庙，要是把江山拱手让给外戚，自己沦为平民，就算不为自己着想，也得为祖宗的基业考虑啊！太后虽然是王氏的女儿，但嫁入刘家就是刘家人，王氏专权，对太后也不是好事。当年孝宣帝没给舅舅平昌侯实权，才保全了他。明智的人，能在福气还没影的时候就培养它，在灾祸还没发生时就消除隐患。陛下应该下一道明白的诏书，亲近皇族成员，让他们得到信任，疏远王氏外戚，别给他们权力，让他们都回家去。这样既效仿了先帝的做法，也能让外戚平平安安，保全他们的家族，这才是太后真正希望看到的。只有这样，王氏能一首保住荣华富贵，刘氏能稳稳守住江山，两姓和睦，子孙后代才能长久太平。要是不这么做，当年田氏取代姜氏掌控齐国的事，可能就会在汉朝重演，国家迟早会大乱，这后果太明显了，希望陛下好好想想！”
皇帝看了奏疏，把刘向召进宫，听他说完，也很感慨，但只是说：“你先回去吧，我再考虑考虑。”可到最后，皇帝还是没有采纳刘向的建议。
这年秋天，函谷关以东地区发生了大水灾。八月甲申日，定陶共王刘康去世。也是在这一年，信都王刘兴被改封为中山王。