但伴随着郑刚中因兼掌财权，招致朝臣攻击而去职，宋廷因此裁撤宣抚使司，右护军都统制吴璘因统领吴玠旧部，又因胡世将为分郭浩之权，以吴璘同节制陜西诸路军马，逐渐在陕西诸将中居于领导地位。但宋廷对于宣抚使一职除授相当慎重，吴璘虽荣宠已极，但直至绍兴三十一年五月，金海陵王南侵，宋廷急需四川发动对金军反攻，以减轻东南之军事压力，才不得不以宣抚使之职授予吴璘，命其率蜀军北伐。
吴璘虽与其兄吴玠先后以武臣身份出任宣抚使，但观察两人之职权，吴玠拥有四川军权，且对财权有一定影响力，吴璘仅有军权，虽曾命武人知州，如以阿林哲同知洮州、王宏知兰州等，但当时是基于宋金战争之需要，且宋廷规定‘凡文臣执政官为宣抚使，则总领官用申状受约束，武臣为宣抚使则抗礼平牒焉’，以限制吴璘职权向财权之侵夺，其职权显然远不如其兄。
赵昺以为武臣宣抚使之勃兴在吴玠为宣抚副使时代，宋廷虽以吴璘为宣抚使，但其职权受宋廷限制，局限于军权，其后吴挺虽世袭兴州都统制，但宋廷始终不以宣抚使要职授之，显示宋廷对武臣宣抚使忌惮之深。绍兴九年六月，吴玠病死，宋廷鉴于其之跋扈，又因其后宣抚副使郑刚中兼领财权，宋廷认为宣抚使权力过大，进而裁撤宣抚使司。
自吴璘死后十余年间，宋廷调整宣抚使职权，以其入蜀处置事务，且事毕则罢，任期不定，因此先后以虞允文、王炎、郑闻、沈夏、程松、吴曦七人为宣抚使或宣抚副使，吴璘、程松、吴曦均因率军北伐而为宣抚使，孝宗因吴璘病死及策应北伐，以虞允文为宣抚使，先后两次入蜀。
可见川蜀制置使及都统制均针对军队之指挥权而交奏于朝，显示宋廷以安抚制置使及都统制分领兵权，安抚制置使及制置使可指挥都统制，也说明宋廷不愿以一司独掌军权，而倾向使两司抗衡，可交奏于朝，以便于从中控制。
但基于与赵昺面临的同样原因——四川距离临安遥远，宋廷控制不易。因此必须有一方面大将主持四川防务，吴玠死后，宋廷不得不允许吴璘、吴挺及吴曦世袭兴州都统制，因此形成四川吴氏将门。不过宋廷对吴氏将门之态度颇为暧昧，对他们并不放心，一方面以高官厚爵笼络之，一方面又极力防备其职权过度扩展，遂有一系列裁抑吴氏将门之措施。
宋廷压制吴氏将门方法有四：在四川设置三位都统制分权、召武将入朝封以高官、以大将之子为质以及利州路的分割。用这些非常之策，在赵昺看来根本上不了台面的方法来加以控制也是被逼的没招儿了。而另外的措施就是控制财权，来约束坐镇川蜀的大将。
正是由于四川距离临安遥远，其经济有一定独立性，对临安之上供也多因军兴而被截用，导致‘四川财赋止供本路之费’，张浚入蜀设置防御体系后，财权多属于附属地位，吴玠在世时便对财权颇多侵夺。而川蜀向来是以天府之国自称，财税足以支撑一地所费，加上地形封闭，一旦失控就有割据称王的可能。
宋廷也是有感于四川财权被侵夺之危险，便于绍兴议和后，逐渐将财权独立，以加强对四川经济之控制，重命四川上供罗布等，增加贡品外，并让他们将四川内藏钱帛送交行在。而为打破四川经济之独立性，又先后命四川岁拨总制钱一百七十三万余缗交左藏库以供国用。
宋朝君臣是用尽心思来防止川蜀发生激变，但也限制了镇守川蜀将领对于局势的掌控，在蒙古人来攻时导致一片混乱，成都城在敌来攻时居然无兵可调，仅纠集起三百衙役前去抵御，结果可想而知，一座重镇就这么被敌轻易得手，不得不退守重庆依靠山水之险来屏护江南。也正是因为如此，川蜀也成了朝中重臣们心中的一根拔不出去刺。
在赵昺看来，几位宰执和阁臣力主由朝廷遣重臣主持川蜀战事并无恶意，也是出于维护朝廷利益的角度出发，却依然没有跳出权力制衡的禁锢，希望能以此扼制武将割据之心。对此他以为是老几位说好听点儿是未雨绸缪，说难听点儿是多心了，他以为当下的形势已经不能与彼时相较，尚不具备割据的条件……
“臣以为当从宰执中选一位重臣前往川蜀主持战事！”沉默良久，应节严喝了杯水打破了沉默道。
“咝……遣宰执前往是不是过了！”赵昺听了吸口凉气道，“川蜀虽为战略要地，但历来朝廷只是以朝臣挂侍郎衔宣抚川蜀，以宰执前往尚无先例啊！”赵昺听了却是一惊，心中暗想别不是因为自己逼得太狠，导致老头儿要亲自出征吧！
“陛下，臣以为并不为过。”应节严捋捋胡须道，“当下入川作战是以湖广制置司所属为主力，粮草辎重也皆是由其供应。而湖广置使江钲原为殿前禁军都指挥使，后又为同知枢密使，早已位列宰执，以一侍郎前去主持战事，即便江钲大度能遵命而行，但其属下却难免会心存芥蒂，若是处处擎肘岂不坏了陛下的大计！”
“应知事所虑不错，若是仅以一部官员主持难免会处处受制，难以