Родился в Нью-Бедфорде (шт. Массачусетс) 19 марта 1847. Поселившись в Нью-Йорке (1870), посещал Национальную академию рисунка (1871), но в основном был самоучкой. Не раз бывал в Лондоне (в 1877–1896), в 1896 также путешествовал по Франции, Испании, Италии и Швейцарии.
Первоначально писал в основном наивно-идиллические пейзажи. Его самобытный стиль сформировался сравнительно поздно, продемонстрировав слияние позднего романтизма с символизмом. Был страстным почитателем Э.А.По, однако выступал скорее как духовный двойник А.Бирса. Часто вдохновлялся образами того же По, а также Библии, У.Шекспира и Р.Вагнера. Впрочем, многие композиции Райдера представляют собою простые натурные мотивы, которые превращаются у него в смутные и тревожные фантомы – с фигурами и предметами, буквально тонущими в плотных слоях краски, часто наложенной не кистью, а мастихином. Среди его картин – Пасущаяся лошадь (ок. 1880, Бруклинский музей, Нью-Йорк), Труженики моря (1884, Музей Метрополитен, Нью-Йорк), Летучий голландец (1887, Смитсоновский институт, Вашингтон), Мертвая птица (1890–1900, Музей собрания Филлипс, Вашингтон), Зигфрид и дочери Рейна (ок. 1891, Национальная галерея, Вашингтон), Гонка по кругу (1895–1910, Художественный музей, Кливленд), Иона и кит (1890-е годы, Национальная коллекция изящных искусств, Вашингтон).
В поздний период часто переписывал свои вещи, еще больше уплотняя живопись, что привело к плохой сохранности многих его работ. Жил уединенно, в основном в своем загородном доме-студии.
Умер Райдер в Элмхёрсте (шт. Нью-Йорк) 28 марта 1917.
