Akcja Summer Pockets rozgrywa się na odizolowanej, wiejskiej i spokojnej wyspie na Morzu Śródlądowym Seto o nazwie Torishirojima, zamieszkałej przez około 2000 osób. Główny bohater, Hairi Takahara, dorastał w środowisku miejskim, ale po nieprzyjemnym incydencie wykorzystał niedawną śmierć swojej babci jako pretekst do przyjazdu na wyspę, aby zająć się sprzedażą jej nieruchomości.
Tam poznaje cztery dziewczyny, na których skupia się cała historia: Shirohę Naruse, która zapomniała o swoich letnich wakacjach; Ao Sorakado, która ściga legendy wyspy; Kamome Kushimę, wysokiej klasy dziewczynę szukającą pirackiego statku; i Tsumugi Wenders, młodszą dziewczynę próbującą odnaleźć siebie.
