På medellång sikt kan det även bli nödvändigt att höja fastighetsskatten och sänka avdraget för räntorna på bolån, enligt fonden, som på fredagen redovisar sin årliga genomgång av svensk ekonomi.
IMF tror även att en sänkning av bolånetaket, från 85 till 75 procent, kan bli aktuellt.
Enligt IMF uppgår den genomsnittliga amorteringstiden i Sverige till över 140 år.
Liksom EU-kommissionen tidigare i veckan ser IMF:s ekonomer även ett problem med att det finns för lite bostäder tillgängliga i svenska storstäder. För att öka utbudet föreslår IMF fortsatta reformer av hyresmarknaden, förenklade byggregler och åtgärder som stimulerar konkurrens i byggsektorn.
Riktade åtgärder för att underlätta för utsatta grupper på arbetsmarknaden efterlyses också av IMF.
Riksbanken och Finansdepartementet får dock godkänt betyg av IMF för penning- respektive finanspolitiken i utvärderingen.
Penningpolitiken ger stimulans och 2013 års budget, med tilläggspropositionen, är rimligt avvägd när det gäller ofinansierade reformer, enligt IMF.
Men om tillväxten blir sämre än väntat och inflationen ligger kvar under inflationsmålet finns det utrymme för ytterligare räntesänkningar och eventuellt en mjukare återgång till att uppfylla överskottsmålet för regeringen, enligt IMF.
IMF varnar samtidigt för risker i Sveriges finanssystem, med en banksektor som är mer än fyra gånger så stor som BNP och beroende av finansiering i utlandet.
Med en genomsnittlig skuldnivå på över 1,7 gånger hushållens disponibla inkomster skulle ett plötsligt och omfattande prisfall för bostäder kunna slå mot både konsumtionen och bankerna. I kölvattnet riskerar Sverige högre arbetslöshet, ännu lägre inflation och problem med kreditförluster och högre finansieringskostnader för bankerna.
"Ett sådant scenario skulle även ha spridningseffekter över den nordiska regionen", skriver IMF, som även noterar en risk för att Sverige också kan drabbas via storbankernas exponering i andra länder, om det uppstår problem där.
IMF ger samtidigt en bild av en måttlig tillväxt i år följt av en något bättre tillväxttakt 2014. Enligt fondens huvudscenario växer Sveriges BNP med 1,1 procent i år. Tillväxten 2014 beräknas till 2,3 procent. Den ökade ekonomiska aktiviteten bygger ökad export och mer privatkonsumtion, enligt IMF.