明清两代，居住在长岛的人们曾经历了两次“空岛”之灾。

第一次空岛是在明洪武二十七年（公元1394年）。长岛渔家乐明朝初年，倭寇开始侵扰中国沿海。最早受害的是山东沿海。长岛自然是首当其冲。当时，元朝的一些逃亡势力、沿海奸民与倭寇相勾结，大肆掠夺财物，并放火烧毁村庄。

《登州府志》多次记载了倭寇袭击长岛的情况。如：明正德十年（公元1515年）“倭寇焚沙门岛，火光照彻南岸”。长岛旅游倭寇进犯时，往往数百乃至千人纠结一起，乘坐几十艘快船，势力非常浩大。有时伪装商人或向朝廷进贡的使者，长岛旅游攻略瞧准机会就上岸杀人抢劫。明朝初年，倭寇侵扰事件频繁发生，尽管当时登州、莱州、青州均设有统领兵马备倭的军事机构，沙门岛也设有巡检司，但由于寇匪勾结，里应外合，使得官兵抵御不力。鉴此，明朝洪武二十七年，朝廷下令“空其岛”。将岛上居民迁至蓬莱北沟西部一带，成立了沙门岛社。自此，长山诸岛帆影断绝，人声沉寂，成为空岛。空岛时间长达220余年。

第二次空岛是在清朝顺治末年（公元1661年）。第一次空岛后，直到明朝天启年间（公元1662－1668年）方始有百姓迁入岛内，至清顺治年间迁入人口逐渐增多。人口较多的为南长山、北长山、大黑山、砣矶等岛。至清顺治末年（1661年）长岛景点，岛民再次被令外迁。第二次进岛的居民在长岛只生活了短暂的40年。