1936年12月，震惊中外的“西安事变”之后，国民党虽接受了中国共产党关于停止内战、一致抗日主张，但拒不承认南方八省红军游击队的合法地位，仍调集重兵进行“围剿”。1937年抗日战争全面爆发后，中国共产党与国民党当局经过反复谈判，终于达成协议，于10月12日将党领导的在江西、福建、浙江、安徽、河南、湖北、湖南、广东等八省境内14块游击区（广东省琼崖地区除外）坚持游击战争的中国工农红军和游击队改编为国民革命军陆军新编第四军（简称新四军）。12月14日，中共中央为加强对新四军的领导，决定成立中共中央革命军事委员会新四军分会，中共中央东南分局（后改为东南局）书记项英兼任军分会书记，陈毅为副书记。

    12月25日，新四军军部在湖北武汉成立。1938年1月6日，移驻江西南昌。军长叶挺，副军长项英，参谋长张云逸，政治部主任袁国平，副参谋长周子昆，政治部副主任邓子恢。下辖4个支队和1个特务营：第1支队由湘鄂赣边、湘赣边、赣粤边、皖浙赣边、湘南等地红军和游击队编成，陈毅任司令员，傅秋涛任副司令员，辖第l、第2团；第2支队由闽西、闽赣边、闽粤边及浙南等地红军和游击队编成，张鼎丞任司令员，粟裕任副司令员，辖第3、第4团；第3支队由闽北、闽东红军和游击队编成，张云逸兼司令员，谭震林任副司令员，辖第5、第6团；第4支队由鄂豫皖边的红28军和鄂豫边游击队编成，高敬亭任司令员，辖第7、第8、第9团和手枪团；军部特务营由湘南、闽中等地红军和游击队编成。全军共1万余人。

    同年2月15日，中共中央军委主席毛泽东致电新四军，指出：“目前最有利于发展地区，还在江苏境内的茅山山脉，即以溧阳、溧水地区为中心，向着南京、镇江、丹阳、金坛、宜兴、长兴、广德线上之敌作战，必能建立根据地，扩大四军基础”。3～4月，第l、第2、第3支队先后到达皖（安徽）南歙县岩寺地区，第4支队进至皖西霍山县流波疃地区。军部由南昌进驻岩寺（同年夏，移驻泾县云岭）。4月，第4支队进抵皖中舒城、桐城、庐江、无为地区，5月12日取得蒋家河口战斗的胜利。4月下旬，军部派先遣支队挺进苏南敌后执行侦察任务，6月17日取得韦岗战斗的胜利。6～7月，第1、第2支队相继进入江南敌后镇江、句容、丹阳、金坛和江宁、当涂、溧水、高淳地区，创建以茅山为中心的苏南抗日根据地。第3支队进抵皖南长江沿线抗日前线，策应苏南部队展开。9月，中共河南省委派彭雪枫率新四军竹沟留守处部队一部东进，10月，与豫东抗日游击第3支队一部和先遣大队合编为新四军游击支队，开辟豫皖苏边抗日根据地。

    1939年1月，李先念率新四军独立游击大队从竹沟南下豫鄂边区，沿途会合各抗日武装，后成立新四军豫鄂独立游击支队，开展豫鄂边区的抗日战争，在信阳县四望山创建抗日根据地。2月，中共中央军委副主席周恩来到达皖南新四军军部，同新四军领导人共同商定了向南巩固、向东作战、向北发展的战略方针。随后，第1支队派第6团与无锡、江阴等地游击队合编，并沿用当地江南抗日义勇军（简称江抗）名义，东进苏州、常熟、太仓地区，进抵上海近郊，相继取得夜袭浒墅关和虹桥机场等战斗的胜利。5月，新四军江北指挥部成立，张云逸兼指挥，徐海东任副指挥。6月24日，高敬亭被错杀，随后第4支队整编，徐海东兼司令员，戴季英任政治委员。同时组建第5支队，罗炳辉任司令员，郭述申任政治委员。第4、第5支队随即展开于淮南津浦铁路（天津—浦口）两侧地区，创建皖东抗日根据地。11月，第l、第2支队领导机构合并，成立新四军江南指挥部，陈毅任指挥，粟裕任副指挥，统一领导苏南的部队。江南抗日义勇军西撤扬中，与丹阳挺进纵队合编为挺进纵队，向北开展扬州、泰州地区的抗日斗争。第4团一部北渡长江，后与挺进纵队一部合编为苏皖支队，开辟天长、仪征、六合地区，打通了与皖东第5支队的联系。新四军游击支队改编为第6支队，彭雪枫任司令员兼政治委员。11月下旬，中共中央中原局书记刘少奇到达皖东江北指挥部，主持召开了中原局会议，决定了向西防御、向东发展、开辟苏北的方针，进一步解决了发展华中的战略方向问题。

    1940年1月，豫南、鄂中、鄂东等地的抗日武装统一整编为新四军豫鄂挺进纵队，李先念任司令员，朱理治任政治委员，继续发展鄂豫皖边抗日根据地。3月，国民党顽军在皖东开始向新四军进攻。刘少奇领导第4、第5支队击退了顽军的进攻，建立了津浦铁路两侧10余个县的抗日民主政权，开创了皖东敌后斗争的新局面。5月，苏南东路（无锡至江阴公路以东，南京至上海铁路以北）地区，成立江南抗日救国军东路指挥部（后改称第3支队），谭震林任司令员兼政治委员，统一领导东路地区的抗日斗争。

    5月4日，中共中央致电东南局，发出《放手发展抗日力量，抵抗反共顽固派的进攻》的指示，再次阐述了独立自主发展华中的方针，强调对国民党顽固派的进攻采取坚决斗争的态度。并指示八路军派主力一部南下，协同新四军发展和巩固华中抗日根据地。下旬，八路军第2纵队第344旅和新编第2旅主力共5个团由冀鲁豫边区南下。7月，与新四军第6支队（欠第4总队）合编为八路军第4纵队，彭雪枫任司令员，黄克诚任政治委员。8月，八路军第4纵队第2旅、第4旅第7团、苏鲁豫支队、陇海南进支队与新四军第6支队第4总队合编为八路军第5纵队，黄克诚任司令员兼政治委员，进军淮海地区。与此同时，新四军第5支队与八路军第5纵队主力一部配合，开辟了淮（安）宝（应）地区，沟通了皖东与淮海地区的战略联系。同年7月，江南指挥部主力北渡长江，与挺进纵队、苏皖支队会合，成立苏北指挥部，陈毅任指挥，粟裕任副指挥，东进泰兴县黄桥地区，创建苏中抗日根据地。留在苏南的第2支队（后重建江南指挥部），继续坚持茅山地区的抗日斗争。10月，国民党顽固派、江苏省主席兼鲁苏战区副总司令韩德勤部向黄桥进攻，新四军苏北指挥部被迫自卫，歼灭其1.1万余人，取得黄桥战役的胜利，并与南下的八路军第5纵队一部在东台县白驹镇胜利会师。11月，华中新四军、八路军总指挥部在苏北盐城成立，叶挺、陈毅分任正副总指挥，刘少奇任政治委员，统一指挥陇海铁路（今兰州—连云港）以南、长江以北地区的新四军和八路军。至1940年底，新四军主力部队发展到8.8万余人。