传说文殊菩萨刚到五台山济世传法时，当地酷热难耐，草木不生，田地无收，百姓苦不堪言。文殊菩萨悲悯百姓苦难，誓愿救众生出水火。菩萨感知南海龙宫有一块奇世珍宝叫清凉石，是天地初分坠入海中的镇海神石，清凉无比，能保一方风调雨顺，令人神清气爽。
但龙王依旧不允，龙五爷无奈，为助文殊菩萨完成解救五台生黎的誓愿，只好先斩后奏，施法打开龙宫宝库，将清凉石收入怀中，腾云驾雾至五台山，将清凉石献于文殊菩萨驾前。五台山自从有了清凉石，舒爽无比，四季分明，万物生意盎然，百姓安居乐业。
后来，文殊菩萨也常在清凉石上为百姓讲经说法，此石也被称为“曼殊床” 。龙五爷在五台山北台顶辞别文殊菩萨慈颜，菩萨欲留龙五爷常护五台苍生，龙五爷笑对菩萨言道，私取奇石，违背父意，已属不孝，理当面父求责。
当地百姓为感龙五爷恩德，恳请文殊菩萨恩许，在万佛阁塑造龙五爷金身法像，顶礼膜拜，虔诚供养。文殊菩萨意动，亲赴南海，向南海龙王借清凉石一用。南海龙王闻知菩萨来意，内心不舍。镇守南海的龙五爷天生慈悲心肠，闻五台山百姓痛苦，伤感不已。见父王为己私念，不肯相送，内心郁闷有加，辗转反侧，夜不能寐。于是求见父王，陈说利弊，愿护送奇石到五台山成就文殊菩萨誓愿。