Direkt nach dem „Anschluss“ 1938 schlossen die Nationalsozialisten die IKG und inhaftierten führende jüdische Funktionäre in Konzentrationslagern. Neu strukturiert wurde die IKG im Mai 1938 wieder geöffnet. Angesichts der fortschreitenden Ausgrenzung, Entrechtung und Enteignung der österreichischen Jüdinnen und Juden zählten die Fürsorge für die verarmte jüdische Bevölkerung und die Organisation der massenhaft einsetzenden Flucht bald zu den wichtigsten Aufgaben der IKG. Diese Aufgaben konnten nur durch die erzwungene Zusammenarbeit mit der Zentralstelle für jüdische Auswanderung verfolgt werden. Nach dem Abschluss der Massendeportationen wurde die IKG Ende Oktober 1942 aufgelöst. Ein so genannter „Ältestenrat der Juden in Wien“ übernahm ihre Aufgaben für die etwa 8000 in Wien verbliebenen Jüdinnen und Juden. Anders als in den besetzten Gebieten Osteuropas führte diese jüdische Organisation in Wien ihre Arbeit bis zum Kriegsende fort.

Seit 1860 existierte eine Jüdische Gemeindestruktur in Mährisch-Ostrau. 1863 wurde eine eigene Schule errichtet, 1872 ein jüdischer Friedhof und 1879 eine große Synagoge im maurischen Stil. 1931 hatte die Jüdische Gemeinde in Mährisch-Ostrau knapp 6900 Mitglieder. Im Oktober 1939 wurden etwa 1300 jüdische Männer nach Nisko deportiert. Ab 1942 wurden weitere 3570 Jüdinnen und Juden nach Theresienstadt deportiert (der größte Teil im September 1942). Nur 250 jüdische Überlebende kehrten nach Kriegsende nach Mährisch-Ostrau zurück.