Flaggan, blå och vit och orange, förbjöds att användas då den jämställdes med rasistisk diskriminering och hatpropaganda.
Det första förbudet mot flaggans användande i publika sammanhang antogs 2019. Gruppen Afriforum, som säger sig företräda vita afrikaner, sade i sitt överklagande att förbudet var ett intrång i yttrandefriheten.
Högsta domstolen, formellt kallad högsta appellationsdomstolen, valde dock att inte ta upp frågan om flaggan kan användas i privata sammanhang.
I domslutet skrev högsta domstolen att "de som visar upp eller viftar med den gamla flaggan skickar ett destruktivt och skamlöst budskap att man firar och längtar efter rasismen i vårt förgångna".
Fanan infördes som nationalflagga 1928 och avskaffades i samband med att apartheidsystemet avskaffades 1994.