Zvārtavas muiža cēlusies no Adzeles – Gaujienas pils apgabalā piešķirtajiem lēņiem ap 1443. gadu. 1465. gadā Zvārtava tiek piešķirta lēnī Hansam Švarchofam – no tā arī cēlies vāciskais nosaukums Adsel – Schwarzhof. 1517. gadā lēnis piešķirts Jirgenam Švarchofam. Viņa dzimta te saimniekojusi līdz 1629. gadam. Šai laikā joprojām Gaujienas pilsnovads līdz 18.gs. vidum bija kroņa– valsts īpašums. Apmēram simts gadu pilsnovadu izlēņoja Aksela Banera dzimta. 1745. gadā Gaujienas pilsnovadu dāvināšanas ceļā privātīpašumā saņēmis barons Delvigs. 1781. gadā Zvārtavas muiža atdalīta no Gaujienas pilsnovada.