У Основној школи „Змај Јова Јовановић“ у Руми је основана књижница 1872. године. Иако је број књига тада био симболичан (само 128 свезака), њен културни и просветитељски значај за једну тако малу средину као што је Рума, био је велики. Мали број основних школа се може похвалити чланством у Матици српској, а наша школа је постала члан 1881, како је записано у Летопису школе. Из године у годину повећавао се књижни фонд у школској књижници. Највећи број књига нестао је без трага за време Другог светског рата, а остао је мањи број старих и вредних наслова (од најстаријих књига из 19. века сачувано је само 19 наслова).
Почетком 20. века књижни фонд се увећавао прилозима, даровима и набавком школске управе.
Данас у школи има преко 11000 књига и остале библиотечке грађе. Школским развојним планом из 2004. године, библиотека је измештена у нови, већи простор (140м²) и опремљена је новим намештајем, компјутером и интернет конекцијом. У оквиру библиотеке је читаоница у чијем фокусу је развијање читалачких интересовања ученика.
Библиотека је постала функционална мултимедијална учионица са вишеструком наменом. У њој се реализују поједини часови наставних предмета, ђачког парламента, као и састанци школских тимова. Врло је погодна за одржавање едукативних семинара, све врсте презентација намењених ученицима и наставницима, стручна усавршавања наставника, едукацију родитеља и за друге намене.
Библиотечки фонд је добро организован. Школска лектира је сређена по разредима, а остатак фонда по групама УДК. Приступ књизи је слободан. Библиотека поседује програм за аутоматизацију пословања. Министарство просвете и науке је обезбедило прикључак за интернет.
У библиотеци ради библиотекар са положеним стручним испитом из библиотекарства, са пуним радним временом.