Родился в дворянской семье, в 1883 поступил на историко-филологический факультет Московского университета. В 1884 в «Исследованиях по русскому языку» опубликована первая его статья «Исследования о языке новгородских грамот XIII и XIV вв».
Ученик Ф. Ф. Фортунатова. Впервые замечен в серьёзных научных кругах после выступления во время защиты А. И. Соболевским его магистерской диссертации — о системе фонем праславянского языка. Шахматов выступил с убедительной критикой некоторых важных положений доклада, чем вызвал сильную неприязнь уже известного в ту пору научными трудами Соболевского. Напряжённые отношения ученых сохранялись до конца жизни Шахматова.
В 1887 защитил диссертацию на тему «О долготе и ударении в общеславянском языке», после окончания университета остался при нём и к 1890 стал приват-доцентом.
В 1894 выдвинул свою работу «Исследования в области русской фонетики» на соискание степени магистра, однако ему была присуждена высшая степень доктора русского языка и словесности.
Первые научные разработки — в области диалектологии. Совершил две экспедиции в середине 80-х гг. — в Архангельскую и Олонецкую губернии.
После смерти Я. К. Грота взял на себя составление первого нормативного словаря русского языка.
С 1894 адъюнкт Петербургской АН, с 1898 — член Правления Академии наук, самый молодой за всю историю её существования (34 года), с 1899 — действительный член АН. С 1910 профессор Петербургского университета.
С 1906 — член Государственного совета от академической курии. Участвовал в подготовке реформы русской орфографии, осуществленной в 1917—1918.
Член Сербской Академии наук (1904), доктор философии Пражского университета (1909), доктор философии Берлинского университета (1910), член-корреспондент Краковской Академии наук (1910) и др.

Связи нет