Putz... eu ri... Por causa da gafe.
Virou um trocadilho azarado pelo contexto. Mas minha mãe fala muito essa expressão.

Na minha cabeça, antes da explicação do texto, eu achava que minha mãe falava "dia de branco" pra não dizer "dia de preto" e parecer racista. Não sabia dessa origem escravagista.

Olhando sob qualquer prisma a expressão é preconceituosa.
Se vc falar que é dia de branco, faz referência ao trabalho escravo preferencial aos brancos.
Se não for com esse intuito, vc dirá que só o branco trabalha, o preto não.
Se vc quiser inovar como minha mente "brilhante", aí q piora tudo.