Он дебютировал в легендарном многосерийном фильме Татьяны Лиозновой "Семнадцать мгновений весны". Да, роль охранника посольства была более чем скромной, но уже тогда стало ясно: у 27-летнего выпускника Горьковского театрального училища по-настоящему большое будущее.
Уже год спустя он становится известен на всю страну благодаря роли штабс-капитана, организатора нападения на поезд в картине Никиты Михалкова "Свой среди чужих, чужой среди своих". Также Александр запомнился зрителям по роли в фильме "Раба любви".
Свою первую главную роль он получил уже в возрасте 35 лет. Картина Игоря Вознесенского "Акванавты" и сегодня пользуется популярностью. Как правило, режиссеры видели Яковлева исключительно в роли отрицательных персонажей. И не ошибались! Глава русской мафии, офицер Белой армии, беспринципный полковник ФСБ – казалось, не было такого "злодейского" образа, с которым Александр мог бы не справиться.
В современных телефильмах амплуа "злодея" сохранялось. Многие помнят сурового полковника Фролова в мистическом сериале "Закрытая школа".
В 2014 году он принял участие в съемках самого кассового фильма года – приключенческой фэнтезийной картине Олега Степченко "Вий". Роль "Косого" Оверко стала последней работой Яковлева.