Als der alte Friedhof am Kellerberg vollbelegt war, erwarb die jüdische Gemeinde 1879 dieses Gelände am Römerpfad. Der neue Friedhof wurde 1882 eingeweiht und mit einer Bruchsteinmauer eingefriedet. Bis zur letzten Bestattung im Januar 1937 fanden hier laut Sterberegister 120 Menschen ihre letzte Ruhe.
Im November 1938 wurde die Anlage von den Nationalsozialisten geschändet und zerstört. Die Steine der Umfassungsmauer wurden später zweckentfremdet als Luftschutzbunker verbaut. Erst nach langen Nachkriegsstreitigkeiten wurden 1954 zumindest 27 der ursprünglich rund 100 Grabsteine wieder aufgestellt – wenn auch willkürlich und in falscher Himmelsrichtung.