Сюжет Mafia II следует за долгим и темным путешествием Вито Скалетты, по мере того как он продвигается по жизни, становясь известным человеком в мафии. На протяжении всего сюжета в игре будут представлены основные события периода после Второй мировой войны. В игре вы начинаете в бедности, но с помощью своего друга Джо вы станете совершать множество криминальных поступков, чтобы добыть деньги, выпивку и цыпочек. Сначала вы недолго сражаетесь на Второй мировой войне. Затем вы возвращаетесь и один день живете в квартире своей матери. У вас есть сестра по имени Франческа Скалетта. Вы встречаете много людей на своем пути и принимаете много неверных решений, которые вы с Джо должны исправить.
Действие разворачивается в эпоху после Второй мировой войны, и игрок берет на себя роль Вито Скалетты, молодого солдата, возвращающегося со Второй мировой войны в Эмпайр-Бей после службы за границей. По возвращении Вито и его друг Джо Барбаро начинают работать в криминальном мире Эмпайр-Бэй. История рассказывает о дружбе Вито и Джо и их жизни в мафии. Планируется, что Mafia II будет намного мрачнее и менее романтичной, чем первая игра, рассказывающая историю созданного человека. Действие игры будет разворачиваться в 1940-х и 1950-х годах в Эмпайр-Бэй, городе, вдохновленном Нью-Йорком и Сан-Франциско.
Действие Mafia II разворачивается на открытой территории площадью 10 квадратных миль, и игрок может исследовать весь сценарий без каких-либо ограничений с самого начала игры. Экранов загрузки нет, город будет загружаться непрерывно во время игры. В Эмпайр-Бей необходимо соблюдать законы. Когда они будут нарушены на глазах у полиции, полицейские отреагируют на это. Однако взаимодействие с полицией будет смягчено по сравнению с предыдущей игрой.