AIK-backen har spelade matchen mot Norge på söndagen, men kände av en skada.
"Milosevic, som har haft en skadekänning under veckan, bedöms efter en undersökning på måndagskvällen inte vara fullt tillgänglig för spela i de kvarvarande matcherna och lämnar därmed truppen", uppger landslaget i ett pressmeddelande.
Tidigare under dagen valde förbundskapten Janne Andersson att kalla in Daniel Sundgren, Aris, och Christoffer Nyman, IFK Norrköping, till truppen. Duon ansluter i morgon, tisdag.
Sverige har inlett Nations League-spelet med en seger (2–0 Slovenien) och en förlust (1–2 Norge).
Landslaget har drabbats av flera skador under nuvarande samling och mot Serbien hemma på torsdag är dessutom Dejan Kulusevski och Emil Krafth avstängda.
Sverige avslutar den här Nations League-samlingen med att möta Norge borta den 12 juni.