Στην περιοχή που
βρίσκεται η Σκήτη της Αγίας Άννης υπήρχαν, προ της χιλιετηρίδας, ερημοκαλύβες,
ερημίτες και ασκητές, που ασκούνταν στα όρια της σημερινής Σκήτης. Περίπου το 960 μ.Χ. ιδρύθηκε η Μονή των Βουλευτηρίων, στην παραλία
της σημερινής Σκήτης της Αγίας Άννης, όπου βρίσκεται το κελί του Αγίου Ελευθερίου. Γνωστός ηγούμενος της μονής αναφέρεται ο
Ποιμήν, ο οποίος διατήρησε την ηγουμενία της Μονής 50 περίπου έτη.
Στη Μονή αυτή, των Βουλευτηρίων, ήρθε ο μοναχός
Ευστράτιος, ο οποίος είχε αναλάβει ηγούμενος της Μεγίστης Λαύρας μετά την κοίμηση του Οσίου Αθανασίου,
59 αλλά παραιτήθηκε από τη θέση αυτή και μαζί με τον ανιψιό του Αθανάσιο ήρθε
στη μονή των Βουλευτηρίων. Αργότερα όμως ο Ευστράτιος κλήθηκε από τους πατέρες
της Λαύρας να επιστρέψει «εις την αυτού μετάνοιαν», ο δε ανιψιός του έμεινε ως
ηγούμενος της Μονής των Βουλευτηρίων. Μετέπειτα η Μονή των Βουλευτηρίων
περιήλθε στην κυριαρχία της Μεγίστης Λαύρας.
Ο
τελευταίος ηγούμενος της Μονής αυτής, Όσιος Γερόντιος τον 14ο αιώνα πήρε τη συνοδεία του, καθώς
πειρατές λεηλάτησαν, επανειλημμένα, και κατέστρεψαν τη Μονή των Βουλευτηρίων, και μετοίκησαν σε
υψηλότερα και κρυφά μέρη, «σε σπηλιές και σε οπές της γης». Εκεί δεν έκτισαν
νέο μοναστήρι αλλά καλύβες στις οποίες και έμειναν. Η Μονή των Βουλευτηρίων
ερημώθηκε. Μετά από πάροδο χρόνων, όταν αποκαταστάθηκε η ειρήνη οι Πατέρες άρχισαν να συναθροίζονται
και πάλι όχι πλέον στην παραθαλάσσια Μονή τους, αλλά ψηλότερα, όπου τώρα
υπάρχει η Σκήτη της Αγίας Άννης. Στον τόπο αυτό ερχόταν αφενός για τα άφθονα
νερά, τα οποία ανέβλυζαν εκεί αφετέρου για
το θερμό κλίμα της τοποθεσίας. Έτσι κατασκεύασαν
εκεί μικρές καλύβες αρκούμενοι σε ελάχιστα πράγματα, μιμούμενοι τους παλιούς ασκητές. Ο όσιος Γερόντιος διέμεινε πάνω από τη Σκήτη,
όπου βρίσκεται ως σήμερα ο μικρός ναός
του Αγίου Παντελεήμονα, τον οποίο ο ίδιος ανήγειρε, και με προσευχή προς την
Υπεραγία Θεοτόκο ανέβλυσε πόσιμο και ιαματικό νερό, το οποίο υπάρχει
μέχρι σήμερα και παραδόξως ποτέ δεν υπερχειλίζει αλλά ούτε και μειώνεται όσο και αν αντλήσει
κάποιος. Από τότε οι πατέρες το χρησιμοποιούν ως αγίασμα και ευλογία Με τον τρόπο αυτό δημιουργήθηκε ο πρώτος
πυρήνας της Σκήτης της Αγίας Άννας και η πρώτη Σκήτη της Λαύρας.