Domen kommer efter en uppmärksammad rättegång som har pågått i flera veckor.
En av männen döms till sex och ett halvt års fängelse och den andre till fyra och ett halvt år.
Båda lämnade Österrike 2013 för att ansluta sig till IS i Syrien, enligt åtalet som den österrikiska nyhetsbyrån APA tagit del av. En av männen stannade i ett och ett halvt år och den andre i några månader.
Mannen som rekryterade dem har setts som en central person i extremistiska grupperingar i Österrike. Han avtjänar sedan tidigare ett 20-årigt fängelsestraff.