Действия происходят в Англии, в Йоркшире. В преддверие начала Первой мировой войны, появления электричества, эпидемии испанки и заката Викторианской эпохи. Загородное поместье Даунтон, которое принадлежит аристократической семье Грэнтемов. Глава семьи, Роберт Грэнтем женился на богатой американке Коре Кроули. Ее состояние было необходимо, чтобы сохранить поместье. Но со временем, их любовь стала, искренней и у них родилось три дочери. В 1912 году происходит трагедия. Наследник титула графа и главы семейства, кузен Джеймс Кроули погибает в круизе на «Титанике» вместе со своим сыном Патриком. Семья оказывается в сложном положении, так как унаследовать титул, имущество и главенство должен мужчина. Но прямого наследника мужского пола нет.
Капитал семьи и титулы по договору могут перейти под управление старшей дочери. Ее поддерживает графиня, тем более что девушка обладает железным характером, подходящим для управления поместьем. Наследованию дочерью аббатства Даунтон противится граф Роберт Грентэм. Он настаивает на передаче прав дальнему родственнику, троюродному брату Мэттью Кроули, единственному оставшемуся потомку мужского рода. Мэттью Кроули работает адвокатом и соглашается при условии возможности продолжения своей профессиональной деятельности. Графа не смущает тот факт, что человек становящийся наследником – представитель среднего класса.