金阁寺始建于唐朝。关于它的初建和命名还有一段美丽的传说。相传，唐玄宗开元二十四年（公元 736年），有一位法号叫道义的高僧到五台山礼佛，当走到南台与平台交接处时，大风突起，道义和尚便就地而跪、叩头诵经、求佛保佑。过了一会儿，有一个小童来到道义和尚面前，说师父有请。于是道义和尚随童子一道去拜见长老。当跨入长老所在的寺院时，眼前一片辉煌，殿堂、墙壁全为金色。长老所赐茶水异香扑鼻。茶后，童子领道义和尚参观寺庙，道义和尚被寺内的各种景色迷住了，陶醉了；待他定神再寻时，童子、长老、寺院及刚才眼前的一切美丽景象都没有了，只是那金碧辉煌的殿宇形象还深深地印在脑海中。随后，道义和尚将脑海中寺庙的形象描绘下来，献给唐玄宗。唐代宗大历五年（公元770年），当时的皇帝李豫下诏，旨令从印度来的三藏法师不空，按照道义和尚所留下的图纸在五台山修建了一座寺庙。因寺庙的殿堂屋顶全铺鎏金铜瓦，因此寺庙就取名为金阁寺。