När båten, byggd i trä, satte kurs mot Malaysia fanns totalt 89 personer ombord. Men den ska ha sprungit läck och därefter börjat sjunka i grov sjö.
Enligt den lokala räddningstjänsten pågår sökandet efter de 26 saknade personerna.
Passagerarna ska ha kommit från olika delar av Indonesien och var enligt Ady Pandawa, chef för den lokala räddningstjänsten, på väg till Malaysia för att söka jobb.
Ekonomisk migration till Malaysia är vanligt i regionen och många i grannländerna försöker sjövägen ta sig till landet för att jobba inom industri, jordbruk eller byggsektorn i den relativt välmående ekonomin.
I januari drunknade sex indonesiska kvinnor i en båtolycka utanför Malaysias kust och i december omkom 21 indonesiska migranter i en båtolycka i området.