五姨太是镇上有名的美人，却也是镇上最沉默的人。她住在深宅大院的最后一进，院子里的石榴树年年结满红艳的果，却从不见她分给谁一颗。有人说她是老爷从省城带回来的戏子，有人说她是落难官宦家的小姐，但谁也没听她亲口说过一个字。她只在黄昏时坐在廊下，对着天井里那一方灰蓝的天，慢慢摇一把团扇。扇面上绣着一枝垂丝海棠，花瓣已经褪了色，却还是那样软软地垂着，像她这个人，什么也不争，什么也不求。
可越是安静，就越惹人想。镇上的男人们经过她门前，总要放慢脚步，侧耳听一听院墙里有没有动静。女人们则咬着耳朵，说她那双眼睛“会勾魂”。其实五姨太从不正眼看谁，偶尔出门上香，青布轿帘垂得严严实实，只轿帘底下露出一截藕荷色的裙边，风一吹，轻轻晃一晃，便叫人心里也跟着晃一晃。
有一回，镇上的教书先生喝醉了酒，趴在墙头上偷看，被家丁揪下来打了个半死。五姨太站在二门里，远远地看了一眼，没说话，转身走了。教书先生后来逢人便说，她那一眼里什么都有，又什么都没有，比挨打还让人难受。
后来老爷死了，家道败了，姨太太们各奔东西，只有五姨太没走。她搬到了后街一间小屋里，靠给人绣花过日子。有人看见她坐在窗下，针线在手里细细地走，脸上还是那样淡淡的，仿佛从前的富贵与热闹，不过是她绣错的一针，拆了便拆了，不值得可惜。
只是到了黄昏，她依然会搬一把竹椅，坐在门口，对着西天慢慢摇扇子。扇面换了新的，绣的还是一枝垂丝海棠。有人问她为什么总绣这个，她笑了笑，没答。那笑浅得像水面上一个涟漪，转瞬就散了。
镇上的人渐渐忘了她。只有偶尔路过她门口的人，会忽然想起许多年前，那个坐在石榴树下、不言不语的女人，是怎样让一整个镇子的人，都着了迷。