Родился в городке Руза (Московская губерния) 4 (16) июня 1864 в семье чиновника. Посещал Московское училище живописи, ваяния и зодчества (1878–1882 и 1884–1885), где среди его наставников был И.М.Прянишников, а также петербургскую Академию художеств (1882–1884). Много путешествовал по России, проходя долгие маршруты вместе с крестьянами, покидавшими родные места в поисках лучшей доли. Был членом «Товарищества передвижников» (с 1899), а также одним из основателей «Союза русских художников» (1903). Жил в Москве, а летом в деревне Свистуха неподалеку от Дмитрова.
Неудовлетворенный (по его словам) «милыми сценками», преобладавшими в бытовом жанре передвижников, стремился к искусству остродраматическому, чутко передающему «биение человеческой души». Запечатлел сцены крестьянской жизни в нарочито тусклых, «скорбных» по колориту картинах о переселенцах (В дороге. Смерть переселенца, 1889, Третьяковская галерея). Выступил новатором исторического жанра, компонуя эпизоды русского Средневековья – в духе стиля модерн – почти как кинокадры, захватывающие зрителя своим динамичным ритмом, «эффектом присутствия» (Приезд иностранцев в Москву 17 века, 1901; Поход москвитян. 16 век, 1903; обе – там же). Своеобразные черты нервного «протоэкспрессионизма» с особой силой проступили у него в образах первой русской революции, в том числе в знаменитом Расстреле (1905, Музей революции, Москва).
Плодотворно работал и как мастер офорта и литографии, а также как иллюстратор произведений Н.В.Гоголя, М.Ю.Лермонтова, А.С.Пушкина и др. Преподавал в Московском училище живописи, ваяния и зодчества (1900–1910) и Строгановском художественно-промышленном училище (с 1899).
Умер Иванов в деревне Свистуха 3 (16) августа 1910.
Грановский И.Н. С.В.Иванов. Жизнь и творчество. М., 1962
