黄柳霜祖籍广东台山，是移民美国的第三代华人，其家族赴美的第一代是黄柳霜的祖父，是最早一代到美国加州淘金的华工。

黄柳霜的父亲叫黄善兴，当时在中国城附近开了一家名叫山姆·基的洗衣店维持生计。母亲则主要帮助父亲照顾家人。

黄柳霜共有兄弟八人，她排行老二。由于父亲的传统教育，黄柳霜成名后仍与家人住在一起。全家八兄弟姐妹除了她，其他都受过高等教育，是她负担了手足的教育费用。