刘虎为刘表之侄，弓马娴熟、作战骁勇，在荆州军中颇有威望，但他脑筋未必好使，所以刘表任命零陵名士赖恭为其参谋。白天刘备派简雍去跟刘璋谈判，待刘虎返回自家暂居的宅邸以后，赖恭就对他说：“此缓兵之计也，吾观刘玄德野心素著，安有得一郡而甘心放手之理？若刘备不肯退，我等即返襄阳，亦如何向刘牧交待？将军当细筹思之也。”你赶紧拿个主意出来吧。
刘虎说既然如此，不如即发动荆州军兵谏，挟持刘备，逼他折返荆州去。赖恭说不妥，刘备麾下关、张、赵等皆万人敌，徐庶、庞统，还有新近自成都来投的法正等亦皆智谋之士，妄动阴谋，恐怕很难得逞啊。
然而刘虎主意一打定，便不肯再听赖恭之劝，当即下令召集荆州诸将商议。跟过来的荆州将领当中，他唯独没叫甘宁——甘兴霸甚得刘备喜爱，两人最近是越走越近乎，这是个人就能瞧得出来啊，刘虎虽然智谋短浅，终究不瞎。
问题刘虎叫来的将领当中，还包括甘宁的小伙伴沈弥和娄发。因为甘宁受到刘备重赏，所以沈、娄二人难免妒嫉，偶尔口出怨言，说攻陷鱼涪津和南安，咱们虽然没兴霸立的功大，可也有苦劳啊，刘玄德的赏赐未免太薄了一点儿。这事儿刘虎是听说过的，所以未避二人。
可是沈弥、娄发终究是益州人而不是荆州人，在荆州军中难免有被排斥的感觉，他们对刘备的不满，远没有对刘表、刘虎的不满为甚。而且当初是跟甘宁三个人一起造刘璋的反的。如今甘宁既得刘备看重，那只要牢牢巴着这个小伙伴，还怕没有出头之日吗？总比返回荆州去要强啊。所以他们转眼就把消息捅给甘宁了。
甘宁闻讯大惊，匆忙跑去禀报刘备。刘备先是惶然，但随即听伊籍说：“玄德乃可不归也。”他就反应过来了。这坏事儿也能变成好事儿！因而急召徐庶、庞统、法正等商议，先下手为强，派张飞、甘宁去接管了荆州军，把刘虎、赖恭当场拿下。
张飞是单手提溜着给捆成粽子一般的刘虎来见刘备的，刘备假模假式地大吃一惊：“何敢如此待刘公子？”赶紧下来帮刘虎解开绑缚。刘虎还真当刘备不清楚这事儿，是底下人——比方说莽汉张益德等——瞒着他干的。赶紧撇清：“非虎敢触虎威，乃赖恭所教也。”
跟着被押进来的赖恭在心里把刘虎给骂了个臭死，但他知道即便当场跟刘虎翻脸，把话说清楚，也未必能取信于刘备——再说了。你就真信刘备不知道主谋是刘虎吗？干脆一梗脖子：“吾等离荆日久，人心思归，以刘将军不欲退兵，故不得不为耳。请斩恭头，以泄将军之恨，但宽放刘公子可也。”
刘备沉痛地点点头，说你们的心情我都理解，但有事儿好商量吧。何必搞成这样，大家都下不来台呢？庞统在旁边儿帮腔，说刘荆州不但吞了沅州。而且听说又派兵接管了新野等县，你们想早点儿回家，我主却等于无家可归啊。依某看来，大家伙儿不如好聚好散，就此分道扬镳吧。
于是召集荆州兵训话，最终三成愿意留下。七成希望能够返乡。刘备就把这七成的荆州兵武器全都收缴了，只给准备了一个月的吃食。放下舟船，让他们跟着刘虎、赖恭、伊籍等顺江而东。返回荆州去。
顺便刘备还写了一封言辞恳切的书信，请伊籍带给刘表。信中说非我不肯退兵也，奈何血战沙场得来的土地，众人皆不愿弃，就算是我暂时为景升兄你守着吧。有兄弟我在犍为，料刘璋不敢再正眼以觑荆州，荆、益之间，乃可太平无事。
当然啦，荆、益之间是太平无事了，益州内部的战乱且无法停息哪。刘备派简雍去成都跟刘璋谈判，但丝毫不提退兵之事，只说希望能够长居犍为，在此前提下，愿为刘璋之臣。刘璋说许你一个犍为郡守，原本没啥大不了的，然而武阳距离成都实在太近啦，你若不将武阳城吐出来，我是没法答应你的请求的。
简宪和在成都足足呆了七天，要么跟刘璋讨价还价，要么拜访城内的高门大户，生活过得很充实，至于使命能否达成——他根本就没往心里去。等到第五天上，士孙萌也瞧出来了，刘备派此人来，完全是拖时间、应付事儿的嘛，我再继续掺和也于事无补啊，干脆，告辞回许都去算了。
七天以后，简雍也向刘璋告别，说要回去跟自家主公再商量商量，优哉游哉地便返回了武阳城——刘璋遣从事王谋随同前往，去拜会刘备。
这几日刘备在武阳，彻底清洗了不肯服从的荆州势力，重新整编部伍，以孙乾、徐庶为从事，庞统、法正为参谋，关羽、张飞、赵云、夏侯纂、甘宁、严颜等分领各军。对付刘璋，庞统献了一个“拖”字——表面上谈着判，暗中积聚实力，他要来打咱就坚守武阳，他要不动咱也不再继续挺进。终究力量对比还很悬殊，加上成都城高堞密，进攻实非其时也。
那么要怎么扩充实力呢？法正是地头蛇，当即献计，南下去收取越嶲、益州、牂牁、永昌各郡，及蜀郡、犍为二属国。他说益州大姓雍闿、永昌郡丞邓方、牂牁大姓朱褒、越嶲夷王高定等地方实力派，都跟自己有所交情，也都不满刘璋治蜀，可往游说，使他们依附。何宗也说了，益州郡守为其同乡审鸿审长宾，大可以争取。
“巴郡垫江、宕渠境内，汉水、潜水之间，有賨人居焉，刚猛善战，昔从