Auparavant, les seigneurs Nguyen avaient fait construire un temple à Phu Xuan et le transférèrent dans trois villages : Trieu Son, Luong Quan et Long Ho.

En 1808, le roi Gia Long et la cour décidèrent de choisir un monticule près de la pagode Thien Mu ( Dame céleste), sur la rive gauche de la rivière des Parfums pour construire un nouveau temple plus imposant. La construction commença le 17 avril 1808 et se termina le 12 septembre 1908. Plus tard, le Collège des Enfants de la Nation fut également construit ici et ouvrit ses portes jusqu’en 1908 quand il fut transféré dans la citadelle.

Le temple est orienté vers le sud, la rivière des Parfums devant, les villages, montagnes et collines de la cordillère Truong Son en arrière. Tous les ouvrages du temple se trouvent sur un monticule de trois mètres, un terrain carré de 160m de chaque côté, entouré d’un mur. Au total, il y avait une cinquantaine d’ouvrages architecturaux dont 32 stèles sur lesquelles sont gravés les noms des lauréats des concours mandarinaux nationaux, 4 autres stèles, un temple principal dédié au Confucius, des pavillons à gauche et à droite dédiés aux grands lettrés, une cuisine, un entrepôt,etc. 

Tous les édifices furent construits en bois précieux et d’autres matériaux couteux. L’architecture et l’ornementation sont symétriques et imposantes.

Le temple a été plusieurs fois restauré, avec la construction de nouveaux ouvrages, notamment sous le règne de Minh Mang et de Thieu Tri. Sous le règne de Gia Long, la cour n’ouvrant pas de concours mandarinaux nationaux, il n’y eut pas de nouvelles stèles. Sous le règne du roi Minh Mang (1820-1840), ces concours étant réouverts, les stèles commencèrent à être érigées pour honorer les lauréats. Les stèles furent érigées de 1831 à 1919, l’année du dernier concour mandarinal national, sous le règne du roi Khai Dinh.

Le temps passa. Les guerres et la nature ravagèrent le temple dont il ne reste que 34 stèles en pierre, vestiges artistiques, culturelles et historiques de valeur.

Dans la cour du temple, il y a deux pavillons de stèles. Celui à gauche abrite la stèle sur laquelle est gravé un texte du roi Minh Mang, datant du 17 mars 1836, indiquant que les eunuques de la cour ne pouvaient pas être hissés à une place sociale plus élevée. La stèle dans le pavillon à droite porte un texte de Thieu Tri, datant du 2 décembre 1844, indiquant que les parents du côté maternel du roi ne pouvaient pas détenir le pouvoir. 32 stèles portant les noms des lauréats des concours mandarinaux nationaux sont installées sur deux rangs aux deux côtés de la cour, face à face. Ces stèles sont toutes érigées sur des piédestaux en marbre. Ces stèles sont moins imposantes que celles du Temple de la littérarure de Hanoi, mais leur forme est plus régulière, leur ornementation est différente. Sur ces stèles sont gravés le nom, l’âge et le pays d’origine de 293 lauréats des concours mandarinaux.