Holsøe, Slægten føres tilbage til fyrinspektør, senere konsumtionssekretær i København. Niels Holsøe, der var far til sognepræst på Frederiksberg Lauritz Christian Holsøe. Arkitekt Poul Holsøe var gift med Karen Margrethe Helsted, datter af maleren Axel Helsted (1847–1907). Maleren Niels Holsøe var gift med Vilhelmine Margrethe Krag, datter af sognepræst Peter Krag (1839–1912).