Jaro roku 1922 probíhá na panství Downton ve stínu tragické události, k níž došlo před šesti měsíci, a jíž byli diváci svědky ve finále předchozí řady. Lady Mary sužovaná žalem zanedbává svého nedávno narozeného syna George, který je v péči podezřele panovačné chůvy. Sir Robert se dostává do křížku s Bransonem ohledně spravování pozemků a vyvstávající nutnosti zaplatit dědickou daň. Také ve světě služebnictva dochází k náhlým změnám, když si bez předchozího varování sbalí kufry slečna O'Brienová. Vzniklé situace využije ke svému návratu osoba, jež má na Downtonu plány sahající mnohem dále než na post komorné.