L'action se déroule dans les années 1930, dans la ville fictive de Lost Heaven (largement inspirée du Chicago des années 1930). Le joueur incarne Tommy Angelo, un chauffeur de taxi qui devra prouver sa valeur à la mafia de la ville.

En 1938, Tommy rentre dans un bar et parle à l'inspecteur Norman. Contre la protection de la police, il se propose de revenir sur sa carrière de mafieux, débutée huit ans plus tôt.

Tout commence durant l'automne 1930, une nuit dans le quartier défavorisé de Hoboken, il avait croisé la route de deux mafieux, Paulie et Sam, qui étaient poursuivis par des gangsters de la bande rivale. Ils sautent dans son taxi et menacent Tommy pour qu'il les tire de ce pétrin. Arrivés au bar de Don Salieri, leur patron, ils remettent à leur chauffeur une forte somme d'argent et lui proposent du travail, mais Tommy est trop honnête pour accepter.

Le lendemain, pendant sa pause café, Tommy est agressé par deux gangsters de la famille Morello, bien décidés à lui faire payer son héroïsme de la veille. Tommy n'a d'autre choix que de fuir jusqu'au bar de Don Salieri où ses nouveaux amis tuent les poursuivants. Tommy est donc introduit dans la famille Salieri où il fait la connaissance de Franck, bras droit de Don Salieri, de Luigi, barman, de Ralphy, le garagiste et de Vincenzo, l'armurier. Pour prouver sa loyauté, Tommy doit détruire les voitures des hommes de Don Morello garées près du bar de ce dernier. Admis dans la famille, Tommy part ramasser des primes de protection avec Paulie et Sam qui sont blessés dans un motel : Tommy réussit à tuer les gangsters et à récupérer l'argent.

En 1932, Tommy est chargé par le Don de saboter une voiture de course avec l'aide de Lucas Bertone, un garagiste. Le lendemain, le pilote du Don est blessé et Tommy doit courir la course à sa place. Sa victoire renforce sa position au sein de la famille. Quelque temps plus tard, Luigi demande à Tommy d'escorter sa fille, Sarah. Des voyous les agressent dans une ruelle mais sont neutralisés par Tommy. Le lendemain, Salieri décide de chasser ces "petites frappes" de son territoire. Paulie et Tommy sont donc chargés de leur donner une leçon avec l'aide de battes de baseball. L'opération tourne à la fusillade puis à la course poursuite. Plus tard, Franck apprend à Tommy que l'une de ses victimes était le fils d'un conseiller de la ville et ami de Don Morello. Le héros est alors chargé de tuer une prostituée et de faire sauter le bureau du patron de celle-ci. Lorsqu'il se retrouve face à elle, Tommy décide de l'épargner, puis, dans sa fuite, se retrouve dans l'église où est enterré le fils du conseiller. Reconnu, il est obligé de tuer nombre de mafieux avant de fuir.

En 1933, Tommy est impliqué dans un trafic d'alcool, et doit rencontrer ses fournisseurs canadiens à la campagne. Malheureusement, une troisième partie prend part à l'échange, puisque des hommes de Don Morello et du Shérif viennent à leur rencontre. Sam est blessé dans les opérations et est finalement conduit chez un médecin. La guerre semble déclarée entre les deux familles. Le lendemain, Don Salieri apprend à Tommy que Franck a trahi la Famille en donnant à la police tous les livres de comptes. Tommy est donc chargé d'exécuter le traître qui tente de fuir en Europe. C'est à l'aéroport que Tommy le retrouve. Franck explique que son acte a été motivé par la prise en otage de sa famille par la police. Tommy le laisse fuir et le fait passer pour mort auprès du Don. Il doit ensuite s'infiltrer dans la villa du procureur pour récupérer les preuves compromettantes qui s'y trouvent. Quelque temps plus tard, Paulie trouve un nouveau fournisseur d'alcool. Une nouvelle fois, le deal, dans un parking à étages, tourne mal, mais l'alcool est sauvé marquant un nouveau coup contre Don Morello.


La Galerie d'art de la dernière mission s'inspire fortement du Kunsthistorisches Museum de Vienne.
En 1935, Don Salieri demande à Tommy de l'escorter au restaurant de Pepe. À la fin du repas, les hommes de Don Morello tendent une embuscade et tentent de tuer Don Salieri. Tommy et lui réussissent à éliminer leurs assaillants, puis exécutent la balance, un garde du corps de Don Salieri nommé Carlo. Considérant cet acte comme une déclaration de guerre, Don Salieri décide d'en finir avec Don Morello. Il envoie d'abord Tommy tuer le conseiller qui fête son anniversaire sur un bateau. Il est ensuite chargé de tuer Sergio, le frère de Don Morello, qui dirige le syndicat des dockers. La première tentative consiste pour Tommy à appeler Sergio depuis une cabine pendant que celui-ci est au restaurant pendant que Paulie l'attend pour le mitrailler. C'est un échec car Sergio n'est pas au restaurant. Ils tentent alors de saboter sa voiture avec une bombe, mais ce n'est pas la bonne personne qui monte. Ils tentent alors de l'exécuter devant un bar, mais la Thompson de Paulie s'enraye. Finalement, d'autres mafieux sont envoyés sur le coup et tentent de faire écraser Sergio par un train. L'opération échoue lamentablement mais Tommy réussit à poursuivre le malfaiteur jusqu'au port et à le tuer. Paulie, Sam et Tommy vont ensuite tuer Don Morello à sa sortie du théâtre, mais quitte la salle en avance meurt poussé, dans sa voiture, du haut d'un pont en construction, soit il réussit à s'enfuir jusqu'à l'aéroport et son avion est abattu par la bande de Don Salieri.

En 1938, Tommy part d'abord assassiner un politicien véreux pendant un meeting en plein air. Il se place au sommet de la tour d'une vieille prison abandonnée, afin de l’abattre d'une balle de sniper. Il est ensuite chargé de récupérer des caisses de cigares dans le port, opération bien plus dangereuse que prévu. En effet, les caisses contiennent en vérité des diamants, Don Salieri était au courant du réel contenu des caisses. Suite à cette tromperie de leur Don, Ils décident de braquer une banque pour gagner de l'argent pour leur propre compte. Le braquage est une vraie réussite, mais lorsque Tommy se rend chez son complice pour récupérer l'argent, il découvre son cadavre. Sam lui téléphone et lui donne rendez-vous à la galerie d'art de la ville : Don Salieri est au courant du braquage et en veut à Tommy et Sam propose de l'aider à quitter la ville. Il s'agit en fait d'un piège et Tommy est obligé de tuer Sam et tous ses hommes.

À la fin de son récit, Norman accepte d'aider Tommy. Le procès est un réel succès : Tommy, sa femme (Sarah) et sa fille obtiennent de nouvelles identités et s'installent à l'autre bout du pays. Mais la Mafia est plus forte et le retrouve treize années plus tard, en septembre 1951. Deux jeunes personnes vont voir Tommy qui arrose son jardin et lui donnent en récompense de ses services passés un « message » de la part de Don Salieri : une balle de fusil à canon scié dans le ventre qui lui est fatale (les 2 jeunes personnes en question sont les 2 héros de Mafia II : Vito Scaletta et Joe Barbaro).