Родословная матери поэта не так велика. Родоначальником фамилии Ганнибалов был Абрам Петрович, арап и крестник Петра Великого. Он начал службу в гвардии, в 1742 г. был произведен в генерал-майоры и назначен Ревельским обер-комендантом; в 1762 г., за старостью, был уволен от службы в чине генерал-аншефа. Из пяти сыновей его (Иван, Петр, Исаак, Яков и Иосиф) младший, Иосиф, был родной дед поэта по матери: «Африканский характер его», «пылкие страсти, соединенные с ужасным легкомыслием», по словам поэта, предали его всякого рода диким увлечениям и излишествам и сделали ужасом семьи. Он был женат на Марии Алексеевне Пушкиной и при живой жене, сказавшись вдовцом, обвенчался со вдовой капитана У. Е. Толстой.