Direkt nach dem „Anschluss“ 1938 schlossen die Nationalsozialisten die IKG und inhaftierten führende jüdische Funktionäre in Konzentrationslagern. Neu strukturiert wurde die IKG im Mai 1938 wieder geöffnet. Angesichts der fortschreitenden Ausgrenzung, Entrechtung und Enteignung der österreichischen Jüdinnen und Juden zählten die Fürsorge für die verarmte jüdische Bevölkerung und die Organisation der massenhaft einsetzenden Flucht bald zu den wichtigsten Aufgaben der IKG. Diese Aufgaben konnten nur durch die erzwungene Zusammenarbeit mit der Zentralstelle für jüdische Auswanderung verfolgt werden. Nach dem Abschluss der Massendeportationen wurde die IKG Ende Oktober 1942 aufgelöst. Ein so genannter „Ältestenrat der Juden in Wien“ übernahm ihre Aufgaben für die etwa 8000 in Wien verbliebenen Jüdinnen und Juden. Anders als in den besetzten Gebieten Osteuropas führte diese jüdische Organisation in Wien ihre Arbeit bis zum Kriegsende fort.