In Oerlinghausen hat sich bereits Ende des 17. Jahrhunderts eine kleine jüdische Gemeinde angesiedelt, die sich später zur größten jüdischen Gemeinde in Lippe entwickelte. Um 1800 wurde eine kleine Synagoge errichtet, die Ende des 19. Jahrhunderts ausgebaut wurde und heute noch in Oerlinghausen zu sehen ist. Sogar eine jüdische Schule befand sich zeitweilig hier.

Ab 1933 geriet die jüdische Gemeinde verstärkt unter Verfolgungsdruck. In den Novemberpogromen 1938 wurden das einzige jüdische Geschäft in Oerlinghausen und auch die Synagoge durch eine größere Menschenmenge angegriffen, und jüdische Männer wurden ins Konzentrationslager Buchenwald gebracht. Die Synagoge wurde jedoch als eine der wenigen in OWL nicht vollständig zerstört, da sie bereits ein Jahr zuvor enteignet worden war. Daher konnte das Gebäude selbst die NS-Zeit überdauern und zeugt, immer noch weitgehend original erhalten, von jüdischer Vergangenheit in  Oerlinghausen.

1941 wurde das letzte noch in Oerlinghausen lebende jüdische Ehepaar Kuhlemeyer deportiert, womit die über 300-jährige jüdische Geschichte in Oerlinhausen endet.

Heute wird die Synagoge vom örtlichen Kunstverein als Ausstellungsraum genutzt und kann besichtigt werden.