《大图书馆的牧羊人》讲述了高中生笕京太郎的日常故事。笕京太郎看似普通，却拥有预知未来事件的能力，但他并未利用这种能力表现自己，而是作为图书社的一员过着平静的生活。然而，他的身边聚集了一群性格各异的伙伴，包括白崎鸫、樱庭玉藻、御园千莉、铃木佳奈和高峰一景等人，使得原本适合读书的社团室变得热闹非凡。故事围绕这群人的日常生活展开，但在某些关键时刻，他们会收到以“牧羊人”名义发送的短信。笕京太郎小时候曾收到过编号第771号牧羊人的书签，内容是牧羊人的人生纪录。随着剧情的发展，笕京太郎逐渐揭开了牧羊人的秘密，并开始踏上成为牧羊人的旅程。