Billie Holiday nació como Eleanora Fagan el 7 de abril de 1915, de padres adolescentes Sarah Julia «Sadie» Fagan y Clarence Holiday (vía Biografía). De acuerdo a Sunday Post, Clarence la abandonó a ella y a su madre poco después de que ella naciera. Su madre viajaba a menudo por motivos de trabajo en trenes de larga distancia, por lo que Billie pasaba la mayor parte del tiempo con familiares, algunos de los cuales eran abusivos.
En su libro La dama canta el blues, Billie recordó tener que compartir la cama con los dos hijos pequeños de su prima Ida, Henry y Elsie. Henry mojaba la cama todas las noches e Ida acusaba a Billie y la golpeaba. «Cuando estaba molesta, me pegaba algo horrible … con los puños o con un látigo», escribió Holiday. «Una vez me escuchó decir ‘Maldita sea’ y pensó que esto era tan pecaminoso que me tiró una olla de almidón caliente. Sin embargo, falló porque me agaché». Cuando Billie sugirió que ella y Elsie durmieran en el suelo una noche para demostrar que era Henry quien mojaba la cama, Ida volvió a golpearla por «ser inteligente con ella».
Según una entrevista de 1939 con Downbeat Holiday reveló que ella y su madre lucharon mientras vivían en la calle 145 cerca de la Séptima Avenida en Manhattan. «Mamá y yo estábamos hambrientos», dijo a la revista. «Hacía frío. Padre nos dejó y se volvió a casar cuando yo tenía 10 años. Mi madre era empleada doméstica y no podía encontrar trabajo. También intenté fregar pisos, pero no pude hacerlo».
