Nach römischer Überlieferung kam eines Tages ein altes Weib - wie sich nachträglich herausstellte, soll es die Sibylle von Cumae gewesen sein – zu König Tarquinius Superbus, dem letzten der sieben ersten mythischen Könige der Römer. Sie bot ihm neun prophetische Bücher zum Kauf an. Dem König war der Preis zu hoch, und er lehnte ab. Daraufhin verbrannte die Sibylle drei der Bücher und bot dem König die übrigen erneut zum gleichen Preis an. Als der König wiederum ablehnte, warf sie noch einmal drei Bücher ins Feuer und legte ihm die drei restlichen wieder zu dem ursprünglich geforderten Preis vor. Da entschloss sich der König auf den Rat der Auguren, die drei letzten Bücher zu erwerben. Die Erzählung könnte darauf hindeuten, dass zu jener Zeit schon ein beträchtlicher Teil alter Mysterienweisheit verloren gegangen war oder zumindest verloren zu sein schien. Diese drei Bücher lagen zur Aufbewahrung in den tiefsten Gewölben des Jupitertempels auf dem Capitol. Ein Brand des Tempels im Jahr 83 vor Christus vernichtete sie. Man liess darauf eine neue Sammlung aufgrund von Versorakeln griechischer, römischer und kleinasiatischer Sibyllenstätten anlegen. Diesbezüglich konzentrierten sich die Nachforschungen vor allem auf das Orakel von Erythrai. Die Schriften wurden in der Folgezeit mehrfach abgeschrieben.
Ein Ausschuss von anfangs zwei, später zehn und schliesslich 15 Männern hatte die Aufgabe, die Bücher zu bewachen und als einzige einzusehen, wenn der Senat oder die Hohepriester es aus besonderem Anlass anordneten. Der Ausschuss bestand nicht aus berufsmässigen Priestern, sondern zumeist aus Staatsmännern. In diesen Ausschuss gewählt zu werden bedeutete eine hohe gesellschaftliche Auszeichnung. Der Historiker Tacitus hatte ebenso dazugehört wie der junge Augustus. Als Kaiser liess Augustus die Bücher in zwei vergoldeten Schreinen im Apollontempel auf dem Palatin unterbringen.
Gab es irgendein staatspolitisches Problem und hatten zunächst die anderen divinatorischen Mittel versagt, bat man den Ausschuss, in den Sibyllinischen Büchern nachzuschlagen, was sie dazu zu sagen hätten. Wie das im Einzelnen vor sich ging, hat leider niemand überliefert. Vielleicht liess man sich inspirieren, irgendeinen der zahllosen Verse als Antwort zu nehmen, die man dann noch hätte interpretieren müssen. Vielleicht lagen die Seiten auch lose aufeinander und man zog »mit geführter Hand« eine heraus.
Andererseits sind nur problemorientierte und gezielte Ratschläge aus diesen Büchern überliefert. Eben deswegen standen sie in so hohem Ansehen, und man folgte ihnen so gut wie immer. Sie wurden noch in der späten Kaiserzeit zu Rate gezogen. Der Reichsfeldmarschall Flavius Stilicho liess sie 408 nach Christus im Auftrag des weströmischen Kaisers Honorius vernichten.
Die Frage nach dem historischen Ursprung der Sammlung ist oft diskutiert worden. Ursprünglich wohl etruskischer Herkunft, diente sie vorher wohl mehr dem Ritual der Vorzeichendeutung (Omen). Die vorliegende Entstehungssage scheint erst gegen Ende des 3. Jahrhunderts vor Christus entstanden zu sein. Von dieser Zeit an nahm die Schriftensammlung hellenistische Einflüsse und Orakelcharakter an. Zumeist rieten die Sibyllinischen Bücher in Not- oder schwierigen Kriegszeiten, das Verhältnis zu einigen Gottheiten einmal zu überdenken, neue Feste oder bestimmte Kulte einzuführen, was verängstigten Gemütern sicher Halt und Hoffnung gab. 56 vor Christus erklärten sie unmissverständlich, der geplante Feldzug gegen Ägypten sei Torheit und umgehend abzublasen. Kaiser Augustus, der natürlich zeitlebens eine respektvolle Beziehung zu ihnen behielt, lieferten sie eine passende Zeitrechnung auf die Geschichte Roms bezogen, um die Säkular(Jahrhundert)spiele 17 vor Christus abzuhalten.
Nichts zu tun mit diesen römischen Sibyllinischen Büchern hat eine spätere Sammlung, die unter demselben Namen in den ersten Jahrhunderten nach Christus im Umlauf war und Ansehen genoss. Sie enthält jüdisch-christliches und so genanntes heidnisches Gedankengut verschiedenster Kulturkreise und bestand ursprünglich aus 14 Büchern. Die Bücher neun und zehn sind nicht mehr erhalten.
1516 erschien in Oppenheim ein Büchlein, das in seiner zweiten Auflage 1531 den Titel »Zwölf Sibyllen Weissagungen« erhielt. Es führte sich auf ein spätmittelalterliches Gedicht zurück und kursierte noch Ende des 19. Jahrhunderts in hohen Auflagen.