公元前539年征服巴比伦之后，波斯王居鲁士宽宏大度地允许犹太人重返巴勒斯坦，在波斯人的督管下建立起半独立的统治。这些重归故里的人不失时机地重建了耶路撒冷圣殿(公元前520至516年完成)。
他们的后嗣在波斯人的督管下过着或多或少和平的生活，直到公元前332年巴勒斯坦被希腊人亚历山大大帝征服。亚历山大大帝不久之后即去世，其后，犹太人又处在一个个讲希腊语的霸主的统治之下。
公元前168年，这些霸主中的一位安条克·厄庇法内斯试图通过亵渎圣殿、禁止在圣殿举行各种朝圣活动等方法摧毁犹太人的信仰，但这种残忍政策引起了由令人鼓舞的斗士马加比领导的暴动。
经过20年的斗争，巴勒斯坦的犹太人最终在本土的马加比王朝的统治下赢得了政治独立。不过这种局面只维持到公元前63年，是年罗马将军庞培趁马加比王朝的内乱把巴勒斯坦置于罗马的保护之下。犹太人不满于罗马人的统治，就在公元66年举起义旗，誓死再现昔日对安条克的胜利。
不过这一次他们面对的是古代最强大的帝国，结果丧失了所拥有的一切。公元70年，罗马皇帝提图斯残酷镇压了犹太起义，夷平了圣殿，以致它从此再也未能重建起来。此后巴勒斯坦完全被罗马帝国吞并，犹太人也逐渐流落到广阔的罗马帝国的其他各地。自那时直到20世纪，“散居各地”(diaspora)，或者犹太人在许多世纪里离开巴勒斯坦散居到一个又一个国家，成为他们的主要生存方式。
与这一来世观密不可分是这样一种信念，即弥赛亚将主持“最后的审判”；换种别的说法，在超自然手段的作用下，死者将复活，接受弥赛亚对其生活质量的审判，恶男恶女将遭到永远受罪的处罚，“圣人”则将继续服侍“在天上地下施行