Родился 16 ноября 1818 года в Санкт-Петербурге. Из дворян. Его отец, Дмитрий Александрович, в 1805 году женился на дочери придворного архитектора Шарлотте Ивановне Белли, от которой имел 7 детей — пятым был Константин. Отец Константина Дмитриевича, директор Главного Педагогического института, переименованного в 1818 году в Санкт-Петербургский университет, приятель В. Жуковского, А. Тургенева, С. Уварова, был заметной персоной великосветских салонов и уважаемым участником влиятельного литературного кружка «Арзамас».
Первоначальное образование Константин Кавелин получил дома; в 1833—1834 годах к поступлению в Московский университет его готовили К. А. Коссович и В. Г. Белинский.
В 1835 году начал учиться на историко-филологическом отделении философского факультета университета, но уже в ноябре перевёлся на юридический факультет, где в качестве своекоштного студента слушал лекции молодых правоведов Н. И. Крылова (римское право) и П. Г. Редкина (энциклопедия права). В мае 1839 года Кавелин окончил курс Московского университета кандидатом прав, получив золотую медаль за сочинение «О римском владении».
В начале 1840-х годов он примкнул к западникам, стал близок Т. Н. Грановскому. В 1842 году, по воле родителей, поступил в Петербурге на службу в Министерство юстиции, — помощником столоначальника.
В это время он стал участником кружка Белинского. Активно сотрудничал и с другими знаменитыми столичными западниками — Н. А. Некрасовым, И. И. Панаевым, И. С. Тургеневым, авторитет которых, видимо, серьезно повлиял и на умонастроения самого Кавелина, в его мировоззрении всё больше и больше утверждались западнические представления о будущем России.
В начале 1843 года ездил в Москву убеждать родителей, что петербургская служба сгубит его. Это ему удалось, и в феврале 1844 года, защитив в Москве магистерскую диссертацию «Основные начала русского судоустройства и гражданского судопроизводства в период времени от Уложения до Учреждения о губерниях», К. Д. Кавелин стал магистром гражданского права, а в мае 1844 года был определён в Московский университет «исправляющим должность адъюнкта для преподавания в 1-м курсе юридического факультета истории русского законодательства».
В 1846 году он был утверждён адъюнктом и ему было поручено ещё и чтение лекций о русских государственных и губернских учреждениях и законах о состояниях — для студентов всех факультетов. В этот период он близко сошёлся с А. И. Герценом, войдя в его московский кружок. В «Отечественных записках» и «Современнике» он поместил ряд статей по русской истории и истории русского права, составивших ему почётное имя.
Деятельность К. Д. Кавелина в Московском университете была плодотворной как для отечественной истории, юриспруденции, так и для русского просвещения в целом. Студенты и вольнослушатели восхищались его лекциями. К. Н. Бестужев-Рюмин был очевидцем, как старшекурсники встречали Кавелина аплодисментами.
В 1845 году Кавелин женился на Антонине Фёдоровне Корш (сестре известных публицистов и литераторов Е. Ф. Корша и В. Ф. Корша; у них родились сын Дмитрий и дочь Софья, вышедшая замуж за художника П. А. Брюллова.
В 1847—1848 годы он также преподавал законоведение в Александровском сиротском институте.
Летом 1848 года К. Д. Кавелин и П. Г. Редкин из-за конфликта с Н. И. Крыловым покинули Московский университет.
С 1848 по 1857 год К. Д. Кавелин часто менял место службы в Петербурге и, наконец, 1857 году был приглашён на кафедру гражданского права в Петербургский университет и одновременно, при участии Великой Княгини Елены Павловны получил поручение преподавать русскую историю и гражданское право наследнику престола, старшему сыну императора Александра II, цесаревичу Николаю Александровичу (это преподавание длилось с сентября 1857 г. по апрель 1858 г.).
Ещё в 1855 году К. Д. Кавелин составил и распространял в списках «Записку» об освобождении крестьян с землёй за выкуп в пользу помещиков при содействии государства, опубликованную А. И. Герценом (частично) в «Голосах из России» в 1857 году и Н. Г. Чернышевским в журнале «Современник» (№ 4) в 1858 году. Это привело к отстранению Кавелина от преподавания наследнику престола.
В 1859 году Кавелин был вынужен отправиться для лечения за границу, а в конце 1861 года, после волнений в петербургском университете, вместе с А. Н. Пыпиным, М. М. Стасюлевичем, В. Д. Спасовичем и Б. И. Утиным он оставил университет.
С 1864 года работал юрисконсультом в Министерстве финансов.
С конца 1850-х годов сблизился со славянофилами. В 1866 году представил императору консервативную записку «О нигилизме и мерах против него необходимых». В 1860—1880-х выступал против материализма в психологии и этике. Впоследствии уходит и от западничества, и от славянофильства.
Профессорская деятельность оставалась для него закрытой до 1877 года. Эти годы занимается общественной деятельностью и развитием сельского хозяйства у себя в имении (Иваново Белёвского уезда Тульской губернии). В 1873 году он ввёл в своем ивановском имении плодопеременную девятипольную систему хозяйства, и при небольшом количестве всей его земли в Иванове поля эти были весьма небольшого объёма. Кроме многопольного хозяйства, много других нововведений сделано им в Иванове: обширный кирпичный скотный двор, костяное удобрение, травосеяние, сенокосилки и сеноворошилки, конные грабли и т. п.
В 1878 году К. Д. Кавелин занял кафедру гражданского права Военно-юридической академии.
В 1882—1884 годах Кавелин был президентом Вольного экономического общества.
Умер 15 мая 1885 года от крупозного воспаления лёгких.