Selon le Koshaken, ouvrage ancien écrit lors du début de l’ère Kamakura (1185-1333), ces quatres sanctuaires furent établis le 9 novembre 768, sous le règne de l’impératrice Shotoku. A cette époque, Fujiwara no Nagate en était le ministre de la gauche.
Les divinités vénérées au grand sanctuaire Kasuga protégeaient déjà la ville lorsqu’elle était capitale du Japon sous le nom de Heijokyo. Takemikadzuchi no mikoto fut déplacé du sanctuaire Kashima (dans l’actuel département d’Ibaraki) vers le grand sanctuaire Kasuga. Des dizaines d’années plus tard, en 768, le ministre de la gauche Fujiwara no Nagate, sous ordre de l’impératrice Shotoku, y a bati ce sanctuaire, face au sud. Ensuite, la divinité Futsunushi no mikoto, déplacée du sanctuaire Katori (actuel Chiba) y a fait son entrée. Les divinités Amenokoyane no mikoto et Himegami (du sanctuaire Hiraoka, actuel Osaka) y firent leur entrée par la suite et l’office de ce sanctuaire put démarrer.