1937年7月卢沟桥事变爆发后，中共山东省委根据党中央和北方局的指示，领导和组织了多次抗日武装起义。12月24日，中共胶东特委按照省委要求，领导了文登县天福山抗日武装起义，成立了山东人民抗日救国军第三军。1938年1月16日，胶东特委又发动了威海卫抗日武装起义。两支起义部队会合后，成立胶东军政委员会和山东人民抗日救国军第三军司令部，理琪任军政委员会主席兼第三军司令员。不久，理琪率部在牟平县雷神庙同日军激战中壮烈牺牲。

    1938年5月，胶东特委和第三军西进到沿渤海的蓬莱、黄县（今龙口市）、掖县（今莱州市），与鲁东抗日游击队第七、第八支队和胶东抗日游击队第三支队一起，创建莱黄掖抗日根据地，并建立了抗日民主政权━━北海专署。北海专署辖地3177平方公里，有人口163万。专署发行的北海币后来成为党领导的抗日民主根据地的主要货币之一。八九月间，第三军和第三支队合编为八路军山东人民抗日游击队第五支队，高锦纯为司令员，宋澄为政治委员。

    1938年12月，八路军山东人民抗日游击队第五支队改名为八路军山东纵队第五支队，部队发展到7000多人。此后，胶东的抗日斗争和根据地建设进入了大发展阶段。1939年9月，在胶东组建八路军山东第三军区。1940年9月，八路军胶东部队奉命整编，第五支队改番号为第五旅，吴克华任旅长，高锦纯任政治委员，军区改为第五支队。1942年7月，成立胶东军区，许世友任司令员，林浩任政治委员。

    抗日战争进入战略相持阶段后，中共胶东区党委依托大泽山、牙山、昆嵛山大力发展抗日根据地，建立“三三制”政权，实行减租减息，保证各阶级利益，保障人民生活，发展经济和文化教育事业。1941年2月，随着抗日根据地的发展，胶东行政联合办事处作为整个胶东抗日根据地统一的政权机构成立。随着抗日斗争和根据地建设的发展，中共党组织不断壮大，到1940年底，全胶东区的党员达到了3万多人，林浩任区党委书记。胶东地区作为黄金重要产地，是日本侵略军进行经济掠夺、以战养战的必争之地。根据地军民同日军展开了激烈的黄金争夺战，并向中共中央、北方局和山东分局提供了13万两黄金作为抗战经费。

    1941年至1943年，是胶东抗日根据地最为困难的时期。区党委率领抗日军民进行了长期艰苦的反封锁、反“蚕食”和连续的反“扫荡”斗争。1942年冬，日军1.5万余人，伪军5000余人，10余架飞机和26艘军舰，在日军华北方面军司令官冈村宁次亲自指挥下，在山岳纵横、地形复杂、三面临海的胶东地区，采取步兵从西向东推进，海军在沿海严密封锁的战法，对胶东根据地进行“拉网合围”的大“扫荡”，妄图将八路军胶东部队压缩、包围在半岛东端加以歼灭。在40多天的反“扫荡”战斗中，八路军英勇作战，歼敌2000多人，救出了被日军包围在马石山上的群众2000多名，粉碎了日、伪军对胶东抗日根据地最大规模的“清剿”、“扫荡”。

    在抗日游击战争中，胶东抗日根据地军民广泛开展了地方性、群众性的人民游击战。其中，起源于平度县、大显神威于海阳县的地雷战，威震敌胆。

    从1944年春开始，胶东抗日根据地军民转入了攻势作战，对青岛、烟台、威海等敌占城市和交通要道展开了局部反攻作战。

    1945年8月15日，日本投降。八路军胶东部队立即展开了全面大反攻。经过一个月的战斗，收复了除青岛、即墨县城外的所有胶东土地。

    在八年抗日战争中，八路军胶东部队，共对日伪军作战7590次，攻克日、伪军据点425处，毙伤俘日、伪军13.4万余人，主力部队发展到两个师、两个警备旅，另有一个海上支队，民兵发展到22万人，自卫团达到80余万人。胶东行政公署下辖东海、北海、西海、南海、中海专署，烟台、威海卫市政府，38个县级政府。共产党员由初期的1800余人发展到6.3万多人。