Der Spieler schlüpft in die Rolle von James Sunderland, einem auf den ersten Blick normalen Menschen, der, wie jeder andere auch, verwirrt ist, als er einen Brief von seiner Frau erhält, in dem sie ihn bittet, nach Silent Hill zu kommen, ihrem besonderen Ort. Das Problem ist nur, dass seine Frau vor drei Jahren gestorben ist und die Geheimnisse um ihren Tod für sich behalten hat. James beschließt, der Bitte des Briefes nachzukommen, und fragt sich, ob es sich um einen kranken Scherz handelt oder ob mehr dahintersteckt. Als James den Stadtrand erreicht, stellt er fest, dass die Straße blockiert ist, und parkt vor einer verlassenen Toilette. Noch ahnt er nicht, dass dies der erste Schritt in das Geheimnis von Silent Hill und seiner eigenen Vergangenheit ist.
Silent Hill 2 ist ein Survival-Horror-Spiel. Das Gameplay ist dem des ersten Teils sehr ähnlich. Der Spieler steuert James durch die Stadt Silent Hill und sammelt in einem unbegrenzten Inventar Waffen, Gegenstände zur Wiederherstellung der Gesundheit und Objekte, die zur Lösung von Rätseln benötigt werden. Über ein Funkgerät wird James gewarnt, wenn Feinde in der Nähe sind. Wie der Protagonist des ersten Spiels ist James im Kampf nicht sehr geschickt; er kann mit einfachen Nahkampfwaffen oder Schusswaffen mit wenig Munition kämpfen. Die meisten Rätsel sind logisch aufgebaut und haben oft die Form von Rätseln, aber es gibt auch ein paar einfache Inventaraufgaben.
Während das Grundkonzept das gleiche ist wie im Vorgänger, spielt das Spiel in einem Teil der Stadt, der dort unerforscht war, und auch die Waffen und Gegner sind größtenteils neu. Neu ist auch die Möglichkeit, die standardmäßige „Survival-Horror“-Steuerung (charakterabhängig) in die weiter verbreitete 3D-Steuerung (kameraabhängig) zu ändern. Der Schwierigkeitsgrad kann für Kampf und Rätsel getrennt eingestellt werden.