Всенародную славу он получил после исполнения главной роли в картине Игоря Вознесенского "Акванавты". Работал с такими известными режиссерами как Никита Михалков, Андрей Кончаловский и Патрис Леконд. В картине последнего "Один шанс на двоих" он блестяще исполнил роль главного киллера русской мафии.
На протяжении всей карьеры Яковлеву чаще всего доставались роли отрицательных персонажей. Он прекрасно вживался в образ как офицера Белой армии, так и прожженного мафиози с сомнительной репутацией.
С 1995 года и до последних дней работы актер трудился на киностудии "ТриТэ" Никиты Михалкова. В 2005 году Александр стал лауреатом премии "Антигерой" на восьмом Международном фестивале DetectiveFEST.