هستر پرین زن جوان و متأهلی است که گفته می‌شود که همسرش سال‌ها پیش به مسافرتی رفته ولی هرگز برنگشته و همگان به یقین رسیده‌اند که وی مرده‌است. داستان از جایی آغاز می‌شود که هستر به علت ارتکاب زنا با مهم‌ترین کشیش شهر، آرتور دیمزدیل، صاحب بچه‌ای به نام پرل می‌شود و رسوایی این جرم و گناه بزرگ را آ شکار می‌سازد، بنابراین هستر در زندان به سر می‌برد. از او خواسته می‌شود که نام پدر بچه را افشاء نماید تا او نیز محاکمه گردد. اما هستر بسیار وفادار و شجاع است و از انجام این کار خودداری می‌کند.

حکم مجازات او این است که می‌بایست همراه با فرزند حرام خویش در وسط شهر و در نزد عموم بر روی سکوی اعدام ایستاده تا همگان او را ببینند، و نیز تا پایان عمر خویش همواره باید داغ ننگ یا اسکارلت لتر را بر روی سینه‌اش به تن داشته باشد که همیشه به عنوان یک زنا کار میان مردم شناخته شود. او این مجازات را با افتخار می‌پذیرد و زیر بار رسوایی و تحقیرهایی که جامعه به او تحمیل می‌کند شکست نمی‌خورد تا اینکه رفته رفته با اعمال خیرخواهانه‌اش نگاه جامعه را به سوی خود تغییر داده و در انتهای داستان حرف A بر روی سینه‌اش به‌جای زناکار نمایانگر کلمه اَنجل به معنی فرشته می‌شود.

اما دیمز دیل نیز از افشاء رابطه‌اش با هستر هراس دارد، زیرا این امر می‌تواند به رسوایی او که کشیش معروف و محترم شهر است یا حتی اعدامش بینجامد؛ بنابراین وی وجه پاک و متقی خود را در نزد مردم حفظ می‌کند، اما ذهناً و در وجود خویش بسیار از این گناه و همچنین ننگ ترسویی و تزویر رنج می‌برد. پیدا شدن دوباره همسر هستر، راجر چیلینگ‌وورث که در ابتدا گمان می‌شد که مرده، و نفوذ وی در زندگی دیمزدیل به عنوان یک طبیب باعث کشمکش و رنج روحی شدیدتری در او می‌گردد.

گویی که چیلینگ‌وورث به‌طور مخفیانه و با زنده نگاه داشتن جسم دیمزدیل و تشدید کردن عذاب روحی‌اش در حال انتقام گرفتن از اوست. سر انجام این عذاب روحی او را به بیماری ناشناخته‌ای مبتلا می‌کند و باعث مرگ وی می‌شود، درست چند لحظه پس از اینکه او در جمع عموم مردم، در کنار هستر و بر روی همان سکوی اعدام شهر که روزی هستر به تنهایی بر روی آن ایستاده بود، به گناه خویش اعتراف می‌کند.