自从匈奴人占领中原，北方有许多人避难到南方来。刘琨的挚友祖逖也带了几百故乡亲来到淮河流域一带。在逃难的行列中，祖逖自动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一路吃用。大家都十分敬重他，推他做头领。

到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖带领他们早日规复中原。

事先，司马睿还没有即天子位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，主要是因为皇室内部自相残杀，使胡人乘机会攻进了中原。现在中原的百姓遭到敌人残酷迫害，人人想要起来反抗。只要大王下令出兵，派我们去收复失地。那么北方各地的人民一定会群起响应。”

司马睿并没有规复中原的打算，但是听祖逖说得有道理，也不好谢绝，勉强答应他的请求，派他做豫州（在今河南东部和安徽北部）刺史，拨给一千个人吃的粮食和三千匹布，至于人马和武器，叫他自己想办法。

祖逖带着随同他一路来的几百故乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打（文言是‘中流击楫”），向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，决不再过这条大江。”他的鼓动的声调和豪壮的气概，使随行的壮士个个感动，人人激奋。

到了淮阴，他们停下来一面制造兵器，一面招兵买马，聚集了两千多人马，就向北进发了。

祖逖的军队一路上得到人民的支持，迅速收复了许多失地。事先，长江以北另有不少豪强地主，趁中原大乱的机会，占据堡坞，相互争夺。祖逖说服他们休止内争，跟随他一路北伐，对不听命令、依附敌人的，就果断打击。祖逖的威望就越来越高了。

刘琨在北方听到老朋友祖逖起兵北伐，也很高兴，说：“我夜间枕着兵器睡觉(sleep)等天亮，就是一心要消灭敌人。现在祖逖跑到我前面去了。”

公元319年，陈留地方的豪强地主陈川投降后赵国主石勒，祖逖决定发兵进攻陈川。石勒派兵五万援救，被祖逖打得大败。接着，后赵的将领桃豹和祖逖的部下韩潜又争夺蓬陂（在河南开封市附近）城。战斗了四十天，相持不下，双方的军粮都发生了困难。

有一日，祖逖用布袋装满了泥土，派一千多名兵士扛着，运到了晋营，装作运粮的样子。最终又派了几个兵士扛着几袋米，运到半路上，故意停下来歇息。

桃豹在赵营内看到晋兵运来那么多的米，自然眼红，就趁晋兵歇息的时候，派了大批兵士来抢。晋兵丢下米袋就逃。赵营里早已断了粮，抢到了一点米，只能够勉强维持几天，但是大家看到晋营里军粮那么充足，军心就刚强起来了。桃豹赶快派人向石勒求救。

过了几天，石勒派了一千头驴子装运了粮食接济桃豹。祖逖早就探得情报，在路上设下伏兵，把后赵的粮食一切截夺下来。这样一来，桃豹再也支持不住，连夜放弃阵地逃跑了。

祖逖领导晋兵费力斗争，收复了黄河以南的一切领土，后赵的兵士陆续向祖逖投降的也许多。晋元帝即位后，因为祖逖功劳大，封他为镇西将军。

祖逖在战斗的费力情况中，和将士们同甘共苦，自己的生活很节约，把省下的钱尽量帮助部下。他还嘉奖耕作，招纳新归附的人。纵然是跟自己干系疏远和地位低下的人，他也同样热情地对待。生地的百姓都很拥护他。

有一次，祖逖举行宴会招待当地父老。人们高兴得又是唱歌，又是跳舞。有些老人流着眼泪说：“我们都老了，明天能够在在世的日子里看到亲人，死了也可以闭上眼睛了。”

祖逖一面操练士兵，一面扩大兵马，预备持续北伐，收复黄河以北的国土。哪儿想到昏庸的晋元帝对祖逖竟放心不过，怕祖逖势力太大了不好控制，派了一个戴渊来当征西将军，统管北方六州的军事，叫祖逖归他指挥。祖逖辛辛苦苦收复失地，反而受到朝廷的牵制，心里很不舒坦。

不久，祖逖听说他的挚友刘琨在幽州被王敦派人害死，又听说晋元帝跟王敦正在明争暗斗，心里又是忧虑，又是生气，终于得病死了。豫州的男女老少听到祖逖去世的新闻，像死了自己的亲人一样伤心。

祖逖虽然没有完成规复中原的事业，但他那中流击楫的英雄气概，一向被儿女的人所传诵。