咸宁二年（276年）十月，司马炎改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”羊祜听后便说：“这一定是说伐吴必是水军成功，只是要考虑哪个人应童谣中的名字。”正逢益州刺史王濬被征召任大司农。羊祜发现王濬的才能可当重任，而王濬的小字又是“阿童”，正应了童谣之言。而当时在西晋朝廷内部，王濬是个有争议的人物。羊祜极力肯定王濬的军事才能，于是上表挽留他，使王濬重新被授为监益州诸军事，加龙骧将军。
此后，羊祜密令王濬缮甲训卒，广为戎备。经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前陆抗病死，吴国境内又因为孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。
羊祜不失时机的上疏请求伐吴，奏疏说：
先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今天了。
而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。
然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。
这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场广大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。
将疑于朝，士困于野，无有保世之计，一定之心。平常之日，犹怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。其俗急速，不能持久，弓弩戟?不如中国，唯有水战是其所便。一入其境，则长江非复所固，还保城池，则去长入短。而官军悬进，人有致节之志，吴人战于其内，有凭城之心。如此，军不逾时，克可必矣。
奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业啊。”但还是遭到大部分人的反对，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾！
咸宁三年（277年），司马炎下诏以泰山郡的南武阳、牟、南城、梁父、平阳五县合并为南城郡，进封羊祜为南城郡侯，设置国相，与郡公同级。羊祜辞让说：“昔日张良辞让三万户的封地，只接受留这个地方的一万户，汉高祖满足了他的愿望。臣在先帝时接受了钜平这块封地，岂能再接受更重的封爵而遭来官场的非议。”坚意不接受这次加封，司马炎也就答应了。羊祜每次被司马炎提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。但司马炎正在考虑灭吴之计，将东南军政要务托付给羊祜，也就把大臣的意见搁置一边了。
小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！