In Oerlinghausen hat sich bereits Ende des 17. Jahrhunderts eine kleine jüdische Gemeinde angesiedelt, die sich später zur größten jüdischen Gemeinde in Lippe entwickelt. Um 1800 wird eine kleine Synagoge errichtet, die Ende des 19. Jahrhunderts ausgebaut wird zu der Synagoge wie sie heute noch in Oerlinghausen zu sehen ist. Sogar eine jüdische Schule findet sich zeitweilig in Oerlinghausen. Ab 1933 gerät die jüdische Gemeinde verstärkt unter Verfolgungsdruck. In den Novemberprogromen 1938 wird das einzige jüdische Geschäft sowie die Synagoge durch eine größere Menschenmenge angegriffen und männliche Juden werden ins Konzentrationslager Buchenwald gebracht. Die Synagoge wurde jedoch als eine der wenigen in OWL nicht vollständig zerstört, da sie bereits ein Jahr zuvor enteignet worden war. Daher konnte das Gebäude selbst die NS-Zeit überdauern und zeugt immer noch weitgehend original erhalten von der jüdischen Vergangenheit Oerlinghausens. 1941 wurde das letzte noch in Oerlinghausen lebende jüdische Ehepaar Kuhlemeyer deportiert, womit die über 300-jährige jüdische Geschichte in Oerlinhausen endet.
Heute wird die ehemalige Synagoge vom örtlichen Kunstverein als Ausstellungsraum genutzt und kann besichtigt werden.