Le temple de Bach Ma est situé dans le centre de vieux quartier de Hanoi et le plus ancien de la vieille ville de Hanoi. Le temple est dédié à dieu Long Do(dieu tutélaire de Hanoi ), l'un des quatre dieux qui fut érigé dans un temple pour protéger les quatre portes de la citadelle de Thang Long. Les quatre temples sont: le temple Bach Ma situé à l'est de la ville, le temple Voi Phuc situé à l'ouest de la ville, le temple Kim Lien situé au sud de la ville, le temple Quan Thanh situé au nord de la ville. 

Le temple a été construit au IXè siècle pour vénérer le dieu Long Do. En 1010, après avoir transféré à la capitale de Thang Long ( Hanoi actuel ), le roi Ly Thai To ordona la construction de la citadelle. Selon la légende, la citadelle s’est effondrée plusieurs fois. Un jour, quand le roi était en prière dans le temple, un cheval blanc est soudainement apparu dans son rêve et a souligné une zone avec ses empreintes de sabots. Le roi Ly Thai To pensait que le cheval blanc indiquait un bon site pour construire la citadelle et étonnamment, les murs ne se sont plus effondrés par la suite et la citadelle a été construite avec succès. Le roi appela le temple du dieu Bach Ma linh tu (temple sacré du cheval blanc). Le cheval blanc est le symbole mythique du soleil. Le temple Bach Ma est situé à l'est de la citadelle de Thang Long. Le cheval blanc est sorti du temple, en marchant d'est en ouest puis retournant  au temple. C'est un symbole du mouvement apparent du soleil, le soleil se lève à l'est, se couche à l'ouest puis revient à l'est.

Le temple a été restauré plusieurs fois, à la fin du XVIIe siècle, les anciennes fondations étaient agrandies. 

Le temple réserve encore 15 anciennes stèles de pierre enregistrant la réparation du temple, ainsi que de nombreux titres des rois des dynasties Le et Nguyen. Il possède aussi nombreux autres objets de culte précieux. Le temple a été classé au titre monument historique national en 1986.