
En regeringskälla uppger för nyhetsbyrån AFP att Bayrou kommer att lämna in sin avskedsansökan till president Emmanuel Macron tidigt på tisdagen.
I omröstningen röstade 364 representanter mot regeringen, medan endast 194 uttryckte förtroende för Bayrou.
– Enligt artikel 50 i konstitutionen måste premiärministern lämna in sin avskedsansökan, sade parlamentets talman Yael Braun-Pivot efter omröstningen.
Bayrous nederlag kommer inte som någon överraskning eftersom oppositionen länge har signalerat att den inte stödjer regeringens budgetplaner.
Bayrou, som bara har varit premiärminister i nio månader, har försökt få stöd för en rad nedskärningar av de offentliga utgifterna för att minska den franska statsskulden.
Bayrou vill spara 44 miljarder euro genom att skära ner i den offentliga sektorn, frysa pensionerna och skrota två allmänna helgdagar.
Frankrike har eurozonens största statsskuld på 3 300 miljarder euro. Samtidigt ligger landet i topp i Europa när det gäller offentliga utgifter.
Huvudproblemet är att Frankrike spenderar mer än man tjänar. Landets redan höga statsskuld har nyligen stigit till cirka 114 procent av bruttonationalprodukten (BNP), vilket gör Frankrike till det land som har den tredje högsta skuldkvoten i euroområdet, efter Grekland och Italien.
Åtgärderna är dock mycket impopulära hos både vänster- och högerflygeln i den djupt splittrade nationalförsamlingen och på måndagen sade en majoritet nej till att stödja Bayrous politik.
Eftersom minoritetsregeringen nu måste avgå måste Macron återigen börja leta efter en ny premiärminister som kan vinna en majoritet i nationalförsamlingen.
Macron förväntas acceptera ansökan, men kommer sannolikt att be Bayrou att sitta kvar medan han söker efter en ny premiärministerkandidat.
Socialistpartiets ledare Boris Vallaud sade före omröstningen att han är redo att bilda regering om Macron ber honom om det, medan Nationella koalitionens Marine Le Pen utlyser nyval och säger att Macron inte har något val.
Nationalförsamlingen avbröt sin sommarsemester för att delta i måndagens omröstning. Det var Bayrou som bad om de folkvaldas förtroende.