公元39及41年，希律亚基帕一世重新获得整个犹太地，继大希律王后又一位王作为犹太人的王，直到他在44年死亡，由希律亚基帕二世继位，但只拥有加利利和先前希律菲利普二世的封地，犹太行省仍然存在。公元66年和132年，为了反抗罗马帝国统治，当地犹太人发起了犹太战争以及巴尔柯赫巴起义，但均遭到第十海峡军团的镇压，亚基帕二世逃往罗马城，希律王朝亦在此时终结。
罗马帝国后期及东罗马帝国时期
公元70年犹太战争结束后罗马继续管治，在132年的一次大规模起义失败后，罗马帝国皇帝哈德良将犹太人驱逐出这一地区，将地名改为“叙利亚-巴勒斯坦”，从此以色列地/犹太地多了一个家传户晓的名字一“巴勒斯坦”。虽然如此，千年来小部分犹太人一直留在巴勒斯坦，但主要的犹太人口从以色列南部移至北部、或其他大陆。犹太教最重要的两本经籍《密西拿》和《塔木德》经也是在这段时期写成。
390年犹太行省正式被拆分为三个省份。395年罗马帝国分裂后由拜占庭帝国（东罗马帝国）继承。
中世纪、近代至现代
公元638年，阿拉伯帝国趁拜占廷帝国刚结束了激烈的拜占庭－萨珊战争夺取该地区的控制权，之后一千多年数个musilin帝国统治过这个地区；包括倭马亚王朝、阿拔斯王朝、法蒂玛王朝、塞尔柱帝国，以及花剌子模（非常短的时间）。在1260年埃及马木留克王朝进一步打击在黎凡特的十字军国家及蒙古势力，1291年耶路撒冷王国亡于马木留克，代表着在中东的十字军全部被消灭。马木留克统治这地区至1517年。
奥斯曼时期
接着在1517年埃及被奥斯曼帝国征服，这地区亦顺理成章地成为奥斯曼帝国一个省份。至1918年奥斯曼帝国于第一次世界大战战败，1920年由英国托管到1948年。
英国托管时期与锡安主义和犹太人回归
近几个世纪以来，诸多流亡海外的犹太人一直试图返回以色列。1800年，在巴勒斯坦地区犹太人总人口约1万人，据奥斯曼帝国人口统计，此时约30万总人口划分为犹太人3%，基督徒10%，musilin87%。18世纪开始有数波小型的回归潮，从数百到上千人不等。
在1878年，佩塔提克瓦出现第一个大型的犹太人农场社区，此时在巴勒斯坦地区犹太人总人口约3万7千人。第一次大规模的回归浪潮则始于1881年，散居在世界其他地区的犹太人来到中东定居，并从奥斯曼帝国的阿拉伯人手中购买土地。1896年，基于犹太人在东欧受到种种迫害，维也纳记者和剧作家西奥多·赫茨尔发起了锡安主义运动，又称“犹太复国主义运动”。该运动号召散居全世界的犹太人“回归故土”，恢复本民族的生活方式。1897年8月29日在瑞士巴塞尔，他召集第一届“世界锡安主义大会”，大会决议建立“一个得到公众承认的、有法律保障的家园（或国家）”。“犹太国民基金”和“巴勒斯坦土地开发公司”等相应机构成立，帮助世界各地的犹太人向巴勒斯坦移民。锡安主义运动的发展推动“第二次回归浪潮”（1904－1914年），约有4万名犹太人返回定居，至1914年巴勒斯坦地区犹太人总人口约9万4千人，占总人口70万的13%。此时当地尚极少发生musilin、基督徒和犹太教徒的宗教及民族冲突。
此时该地区仍是奥斯曼土耳其帝国的一个省。一战中，1915年，在丘吉尔的主导下，英法军队对奥斯曼帝国发动了加里波利之战，遭遇惨败。随后1915年7月至1916年1月，英国高级专员亨利·麦克马洪与地方首领侯赛因·本·阿里互通信函，达成著名的麦克马洪-侯赛因协定，并由英国陆军中尉军官，阿拉伯的劳伦斯，组织当地以贝都因人部落为主的军事力量与奥斯曼帝国作战，有效削弱了奥斯曼帝国的势力。1916年5月16日，英国的中东专家“马克·赛克斯”和法国外交官“弗朗索瓦·皮科”又签订了赛克斯-皮科协定，以图获得法国中东军事力量的支持。1917年一战尚未结束时，英国外长贝尔福发表《贝尔福宣言》：“英王陛下政府赞成在巴勒斯坦建立一个犹太人的民族家园，并将尽最大努力促其实现”，亦试图获得犹太人支持，虽然当时犹太人在约旦河西岸今巴以地区拥有土地为0%，人口不足10%。在战中，英国分别向阿拉伯人、法国、犹太人三方允诺了存在矛盾的对当时奥斯曼帝国领土的划分。
一战结束后，奥斯曼帝国完全退出中东地区并于1923年瓦解，而阿拉伯部落之间纷争不断，最后1918年默认由英国占领。在1919年巴黎和会上，英国决定将今叙利亚地区转交法国，将今伊拉克地区划给费萨尔·伊本·侯赛因；1920年，国际联盟委托英国管辖其余部分。1922年英国将托管地划分为两部分：东部外约旦地区（现约旦）为哈希姆家族管理，西部内约旦地区被正式称作巴勒斯坦地区为英国管理。在东西约旦，犹太人原本与阿拉伯人混居，1922年在约旦河西岸今巴以地区犹太人略降约8万4千人，占总人75万的11%。
第一次世界大战结束后，犹太人掀起“第三和第四次回归浪潮”，1931年犹太人在约旦河西岸今巴以地区占总人口的17%。随着犹太居民的增多，他们与阿拉伯人之间的关系也日趋紧张，导致与当地阿拉伯人爆发冲突。如泛阿拉伯主义者，阿敏·阿·侯赛因在1920年发动一场巴勒斯坦暴动。1931年今巴以地区犹太人口达到17万，约1百万总人口划分为犹太人17%，基督徒9%，musilin74%。
1933年，纳粹在德国上台后开始驱逐犹太人，同期美国经济大萧条引发反犹风潮拒绝接收犹太移民，而此时中东相对平静，导致“第五次犹太人回归浪潮”。接着1937年起锡安主义者多次发动对阿拉伯平民的恐怖袭击，在1936年－1939年又有数场暴动发生。对此英国在1939年颁布一份白皮书，规定1939年起的五年之内犹太人可再移民7万5千人，此后不再接受犹太移民。这份白皮书被许多犹太人和锡安主义者视为是对犹太人的背叛，并且认为那违背贝尔福宣言。阿拉伯人的抵抗也并没有就此平息，他们希望完全停止犹太人的移民。1940年，犹太人已占当地居民总数的30%。1942年后在欧洲发生纳粹的犹太人最终解决方案，进一步推动犹太人回归。1944至1948年之间，约20万犹太人通过各种途径辗转来到巴勒斯坦地区。第二次世界大战结束后，巴勒斯坦地区已经有60万犹太居民。1947年，犹太人达到63万占当地总人口197万的将近1/3，已拥有6%的土地，根据圣经中描述建立的“传统聚居点”实际建在当时阿拉伯人拥有的土地上。
以色列复国和第一次中东战争
1947年，鉴于锡安主义者与阿拉伯人两者之间的冲突不断升级、批评声浪增加，犹太人宣布将于1948年5月14日建立以色列国。1948年5月15日，英国政府决定切割巴勒斯坦托管者的身份。
犹太人的移民数量自从19世纪末以来一直保持增长；受到二战中的犹太人大屠杀影响，移民数量骤增，伴随着与阿拉伯人的冲突，犹太人复国主义情绪高涨。分别建立犹太人以色列和阿拉伯人巴勒斯坦国的分治理念也获得联合国支持。联合国成立“巴勒斯坦专门委员会”，1947年11月联合国大会表决《1947年联合国分治方案》，33国赞成（包括美国和苏联），13国反对，10国弃权（包括英国），通过决议：将巴勒斯坦地区再分为两个国家（之前约旦河东岸的上巴勒斯坦领区77%于一战结束不久的巴黎和会已划给哈希姆家族管理，成为今天的约旦，但当时犹太复国主义尚未极端化，阿拉伯人与犹太人尚和平混居）；约旦河西岸划为犹太人与阿拉伯人分治，分为多块交错的领土，两国分别拥有大约55%和45%的领土，耶路撒冷被置于联合国的管理之下，以避免双方发生冲突。分裂方案在已开发领土上大致采取照顾传统聚居点、按人口比例均分的原则，但考虑到未来大量犹太难民的迁入，将南部人烟稀少的内盖夫沙漠划入犹太国，故犹太人以相对少的人口占据较多的领土。联大决议使当时实际只控制了巴勒斯坦6%的土地和只占巴勒斯坦人口1/3的犹太人得到了巴勒斯坦地区56%的土地（约1.52万平方公里），而已经控制了巴勒斯坦94%的土地和占巴勒斯坦人口2/3的阿拉伯人仅得到43%的土地（约1.15万平方公里）。