A partir de Mane, village proche de la sous-préfecture de Forcalquier, la route principale D4100 qui se dirige vers Apt en direction du sud-ouest traverse la rivière Laye. Immédiatement après le pont, un long chemin monte sur la droite à travers la colline, jusqu'à atteindre une hauteur occupée par Notre-Dame-de-Châteauneuf.

        Sur ce court plateau ont été trouvées quelques traces suggérant l'existence d'un oppidum antique. L'église romane Notre-Dame-de-l'Assomption fut construite au XIe ou au XIIe siècle, et fut sans doute la chapelle d'un château disparu comme l'indique le nom du site.

        A l'origine ce fut un prieuré rural qui dépendait de l'abbaye Saint-André de Villeneuve-les-Avignon. Les seigneurs de Châteauneuf-les-Mane étaient les Chabaud, qui fondèrent au XIIIe siècle l'hospitalité d'Ardenne près de Saint-Michel-l'observatoire.

        Selon certains auteurs, le site de Châteauneuf fut occupé par les templiers en 1306 à la suite d'une donation faite par dame Adalasie, propriétaire des lieux. On suppose qu'il fut détruit par le cruel Raymond de Turenne, et qu'à suite de cela la communauté de Châteauneuf fut réunie à Mane au XVe siècle.

        L'ermitage actuel fut construit au XVIe siècle. Il est depuis 1973 de nouveau habité, occupé aujourd'hui par une religieuse ermite. L'édifice est parfaitement entretenu et entouré d'un jardin très soigné. La chapelle est accessible et un accueil est assuré par la soeur qui y maintient une vie spirituelle. Des messes y sont occasionnellement célébrées.

        La chapelle est constituée d'une nef à deux travées, que termine une abside en cul-de-four dont l'arc d'ouverture est flanqué de deux colonnes sculptées. La toiture d'origine a été remplacée au XIIIe siècle par une voûte en berceau brisé, et un clocher a été rajouté. Les parois de la nef sont élégamment peintes dans des tons à dominante brun-beige, où figurent des croix et des lignes géométriques. Les croix templières s'expliqueraient par la présence éphémère des templiers.

        La chapelle et l'ermitage sont classés monuments historiques depuis 1981.