Родился в Москве 17 (29) марта 1880 в семье чиновника. Занимался в Училище живописи, ваяния и зодчества (19011908). Посещал также венскую Академию художеств (1905), где его наставником был О.Вагнер. Жил преимущественно в Москве.
Участвовал в проектировании сооружений Московской окружной железной дороги (19041908). Сотрудничал с такими крупными мастерами, как М.М.Перетяткович, И.А.Иванов-Шиц и И.И.Рерберг, помогая им на целом ряде значительных объектов, таких, как Купеческий клуб Иванова-Шица (ныне театр «Ленком»; 19071908) и Киевский вокзал Рерберга (19111914). Возвел в духе умеренного модерна целый ряд самостоятельных построек (доходный дом в Даевом переулке (№ 31; 1909); и др.). Направленный в 1924 для изучения современной архитектуры в США, жил в Нью-Йорке, сотрудничая с местными проектными бюро и наблюдая за бурно развернувшимся в те годы строительством небоскребов. После возвращения на родину (1934) мастера назначили в 1935 на пост главного архитектора Всесоюзной сельскохозяйственной выставки (ВСХВ), призванной стать торжественным парадом советского зодчества (здесь он создал к 1937 ряд значительных, в основном строго-функционалистских сооружений, в том числе здание Главного входа; особенно интересен был переходный от конструктивизма к неоклассике павильон «Механизация», содержащий в себе архетип столь популярной впоследствии ярусной башни). В 1938 Олтаржевского арестовали по политическому навету (в связи с разгромом верхушки Наркомата земледелия по «бухаринскому делу»), и все его постройки на ВСХВ были разобраны. Вплоть до 1943 архитектор находился в заключении.
По окончании войны получил возможность вернуться к нормальной работе в столице. Главным его трудом стала книга Строительство высотных зданий в Москве (1953) наиболее полное изложение программы превращения «буржуазного» небоскреба с полным комплексом его технологических новшеств (особо стойкие железобетонные или цельностальные каркасы, скоростные лифты, наличие специальных «технических этажей» и т.д.) в грандиозный образец социалистического по содержанию и неоклассического по форме искусства. Так получила свое теоретическое завершение идея, родившаяся в недрах конструктивизма и впервые воплощенная в проекте Дворца советов Б.М.Иофана (1931). Однако ни к одному из реальных высотных зданий Олтаржевского в качестве главного архитектора не допустили. Он был лишь одним из соавторов гостиницы «Украина» (19491957; руководитель проекта А.Г.Мордвинов), за что получил, в числе прочих, Сталинскую премию 1949 года.
Умер Олтаржевский в Москве 24 апреля 1966.
Арунов В. Старейший советский зодчий. Архитектура СССР, 1960, № 5