Según la Asociación Histórica de la Casa Blanca, el Rose Garden ha existido de alguna forma desde 1902, cuando la Primera Dama Edith Roosevelt plantó su «Jardín Colonial». El Rose Garden era el lugar donde solía estar la «casa de las rosas» de la Casa Blanca, parte de una gran serie de invernaderos que se extendían por los terrenos. Si bien los jardines de la Casa Blanca han cambiado a lo largo de los años, Rachel Mellon, la jardinera que diseñó el jardín de rosas Kennedy, afirmó que las rosas siempre han existido en el jardín de rosas.
Sin embargo, la tecnología cambiante requería que los terrenos se mantuvieran al día. Después de un viaje a Francia, Austria e Inglaterra, el presidente John Kennedy y su esposa, Jacqueline Kennedy, pidieron un espacio al aire libre similar a los que vieron en el extranjero. Quería un espacio que fuera «útil y atractivo», según Mellon, y en el que pudiera entretener, como había experimentado en Europa. Mellon estuvo a la altura y formó un jardín de inspiración francesa que se centró en una combinación de arreglos florales y hortícolas. Usó cuatro árboles de magnolia en las esquinas del jardín para anclar el diseño y usó árboles de manzano silvestre, que eran parte de la familia de las rosas, para crear un diseño repetitivo que lo hacía parecer «un jardín americano temprano en el sur de Virginia». Ella también lo diseñó para que «las áreas se pudieran acomodar según lo exigiera la temporada: pero las rosas podrían quedarse».
Fue este cambio en el diseño fundamental del jardín lo que molestó a algunas personas.
