Herman was de zoon van Louis Jacob Dormits en Bela Weijel uit Zutphen. Hij huwde Sientje Cohen in 1920 in Rijssen.

Hij had als broer: Jacob, de slager van De Vleeschhal in de Barlheze (1865-Sobibor 14 mei 1943), Abraham (1869-Zutphen 1906), Joseph (1874-?) en als zussen Eva (1867-Holten 1943), Grietje (1871-Deventer 1928), Klaartje (1876-?), Jane (1879-Sobibor 16 juli 1943) en Rika (1884-Auschwitz 19 oktober 1942).

Samen met zijn broer Joseph had ook Herman evenals zijn broer Jacob een slagerij in de Barlheze. Een verwant, naar wij vermoeden Joseph, overleefde de oorlog.

Herman had nog een zuster Eva Steven-Dormits (Zutphen 24 maart 1867 - Holten 3 oktober 1943).