Аллен родился и вырос в городе Нью-Йорк (в квартале Мидвуд в Бруклине) в еврейской семье. Дедушка и бабушка Аллена были эмигрантами, родными языками которых были идиш и немецкий. Его мать Нетти работала бухгалтером в семейном кондитерском магазине, а отец — Мартин Кёнигсберг — владел профессиями официанта и гравёра-ювелира. Оба его родителя родились и выросли в квартале Нижний Ист-энд, на Манхэттене.
У Аллена также есть младшая сестра Летти (родилась в 1943).
