Kostel zasvěcený sv. Anně, Ježíšově babičce, dal na kopci zvaném „Na Chloumku“ vystavět roku 1682 Jan Ignác Dlouhoveský z Dlouhé Vsi (1638 – 10. 1. 1701). Pocházel ze šlechtické rodiny, syn rytíře Jindřicha Dlouhoveského. Studoval v Praze u jezuitů. Po svém vysvěcení na kněze se stal roku 1665 děkanem v Německém (Havlíčkově) Brodě, poté kanovníkem ve Straré Boleslavi. Roku 1667 farář hlavního pražského kostela staroměstského. Kanovník a později probošt svatovítské kapituly. Od roku 1679 světící biskup a gen. vikář pražské diecéze. Šířil úctu k českým patronům. Psal básně a prózu. Po dostavení sem nechal přenést suchu sv. Anny z kostela sv. Apolináře v Praze (nyní je v depozitáři biskupství českobudějovického). Později nechal při kostele postavit kapli a byt pro kaplana. Zapsal se i do dějin zdejšího farního kostela sv. Vavřince v Kraselově. Je pohřben v pražské katedrále poblíž hrobu sv. Jana Nepomuckého.
Jan Felix Chanovský, majitel sv. Anny od roku 1714, nechal kolem kostela vystavět krytou chodbu. Ambity jsou do čtverce, ve třech rozích jsou kaple a ve čtvrtém zvonice. Také rozšířil byt pro kaplana. J. F. Ch. je pochován v hrobce vprostřed kostela.
Jan Josef Chanovský dal postavit kousek pod kopcem, kde byla studna, lázeňskou budovu (1761) a od studny ke kostelu nechal vysázet lipovou alej.
Karel Vincenc Chanovský převezl zvony do Kraselova a kraselovské slil na dva větší, které umístil na věž sv. Anny (1798).
Na počátku 19. století nechal František Xaver Chanovský opravit ambity. Roku 1940 byla na přímluvu předsedy Svazu českých zemědělců Rudolfa Berana získána finanční podpora na záchranu kulturních památek kostelů sv. Anny a sv. Vavřince. Před koncem druhé světové války byl odvezen jeden ze zvonů ke slití, ale naštěstí na něj nedošlo a po jeho nalezení v Německu byl vrácen. Roku 1957 byla provedena generální oprava kostela i ambitů.
Socha sv. Anny z průčelí kostela byla dána do péče strakonického muzea.
Na přelomu nového tisíciletí byl areál částečně rekonstruován. V roce 2010 byla provedena generální oprava obytné části, která byla 7. 5. 2011 biskupem Pavlem Posádem posvěcena a pojmenována jako „Dům svatého Jáchyma“.