Le temple a été construit en 1482 par le shogun Ashikaga Yoshimasa, qui prévoyait de le couvrir d'argent comme le Pavillon d'Or mais est décédé avant son achèvement. D'autres pensent qu'il devait refléter le clair de lune.