Der schlechte Ruf, der diesem Gewächs nach abergläubischen Vorstellungen anhaftet, rührt daher, dass sich Judas angeblich an einem Holunderbaum erhängte und dass das Kreuz, an dem Jesus Christus starb, aus Holunderholz gewesen sein soll. Auch lebten dem Aberglauben zufolge in diesen Büschen oder Bäumen oftmals Geister; verbrannte man Holunderholz im heimischen Herd, dann war zu befürchten, dass der Teufel durch den Schornstein gefahren käme. Wegen solch unheilvoller Assoziationen bevorzugten die Hexen für ihre Zauberstäbe Holunderholz. Allerdings sollte der starke Geruch des Holzes Hexen auch vertreiben, und so schützten die Leute ihre Häuser vor deren Zaubereien, indem sie am letzten Tag im April einen Holunderzweig schnitten und über den Eingang hängten oder indem sie Amulette aus dem Holz des Baumes trugen. Holunder durfte jedoch niemals ins Haus hineingebracht werden, da er den Tod brachte. Auch Kinder, die man mit Stecken aus Holunderholz schlug, wuchsen angeblich nicht richtig. Eine Wiege mit Holunder zu schmücken galt als besonders gefährlich, da dann die Feen das darin liegende Baby mitnehmen würden.
Glaubte man, es sei Hexerei im Spiel, dann war es jedoch nützlicher, sich die Augen mit einigen Tropfen Holundersaft zu betupfen, damit man wahrnehmen konnte, was die Hexen in der Nachbarschaft taten. Einer weiteren Überlieferung zufolge konnte das An- oder Abschneiden des Stammes eines Zwergholunders jede Hexe in der unmittelbaren Umgebung verletzen.
Holunder galt als eine Zutat, die die Hexen häufig in ihren Rezepturen verwendeten. Denkbar ist, dass diese Vorstellung auf die rötliche Verfärbung des Stammes des Zwergholunders zurückgeht, die dem ungeschulten Auge suggerierte, dass in der Pflanze Blut fliesse. Was die medizinische Anwendung betraf, so bestand der alte Glaube, dass ein Mensch vom Rheumatismus geheilt würde, wenn er ein Stück Holunder auf der Haut trug.