Een oudere man heeft drie dochters bij zijn vrouw en één bij zijn minnares. De oudste dochter is een weduwe die op het punt staat te hertrouwen; de tweede is gehuwd en haar man runt de familiezaak; voor de derde werd door de familie zelf een man gekozen. Wanneer de vader beslist de draad met zijn vroegere minnares weer op te nemen, raken de dochters over hun toeren. Tijdens hun pogingen om hem op andere gedachten te brengen, sterft hij aan een hartaanval.

Vroege herfst is een van Ozu’s typische familiekronieken: een ontroerende, elegische, maar ook zeer grappige film die vol leven is, maar tegelijk ook rouwt om het einde van het leven. De woordeloze sequentie waarin grootvader en kleinzoon verstoppertje spelen terwijl hij naar zijn minnares probeert te ontsnappen, is slechts een van de vele juweeltjes.