NHL-klubben har bara vunnit sex av 28 matcher så här långt, är sämst i ligan och på väg att missa slutspel för tionde säsongen i rad.
Tyskkanadensaren Krueger plockades in inför förra säsongen för att få ordning på laget, men har inte lyckats. Assisterande tränaren Don Granato tar över ansvaret tillfälligt medan klubben letar en ersättare.
– Det här är rätt tillfälle att börja om och hitta rätt riktning. Vi måste bara bli bättre, det här är inte acceptabelt, säger Buffalos general manager Kevyn Adams på en digital presskonferens.
Fem svenskar spelar i Buffalo med backstjärnan Rasmus Dahlin, vald som nummer ett i draften 2018, i spetsen. De fyra övriga är målvakterna Linus Ullmark och Jonas Johansson och forwardsduon Victor Olofsson och Rasmus Asplund.