Skimmelsvamp nedbryder organiske materialer, hvilket der er rig mulighed for i hjemmet: træværk, lim, tapet og andet papirmateriale.
Det betyder samtidig, at skimmelsvamp ikke altid vokser synligt på vægge, lofter eller gulve, men ofte skjult i væggen, bag tapetet eller gipspladen, under gulvet, i skunken, i krybekælderen eller i andre hulrum.
Derudover kræver skimmelsvamp fugt for at trives. Fugtighed på overfladen af bygningsmaterialer kan skyldes vandskader, men for høj luftfugtighed i boligen på grund af manglende udluftning kan også være årsag til fugt.
I ældre, dårligt isolerede huse vil fugt i luften kondensere på kolde ydervægge og give gode vilkår for skimmelsvamp, hvis ikke der udluftes grundigt med jævne mellemrum. Skimmelsvamp er altid et tegn på fugtproblemer i en bolig.
Ifølge Verdenssundhedsorganisationen WHO kan vedvarende fugt og skimmelsvampvækst på indre overflader og i bygningskonstruktioner være skyld i helbredsproblemer og bør derfor undgås eller minimeres.