在白云观的中心建筑丘祖殿中，保存有一幅《雪山应聘图》，描绘的就是丘处机于公元1220年远涉中亚大雪山会见成吉思汗的史实。丘处机79岁去世，死后，就安葬在丘祖殿下。
丘处机从中亚回燕京后，居白云观，建立“平等”、“长春”、“灵宝”等八会，开创传戒制度，公开设坛收戒，广收门徒。
白云观相传建于唐开元二十七年(公元739年)，是唐太宗为奉祀老子而建造的，当时叫天长观。白云观内至今仍存有一座老子石刻像，据说是唐代的遗物。丘处机居此后，以他的道号长春子为名，改名“长春宫”。明初扩建，更名为“白云观”。
白云观今日的主体建筑，基本上是清代白云观第七代方丈王常同重修时的规模。
白云观的建筑格局是以八卦方位布局的，以子午线为中轴，坐北朝南形成中路，东西两路互相对称，形成一个建筑群。
白云观的主要殿堂坐落在中路，其建筑风格与中国的宫殿建筑十分相似。由于道教有严格的等级制度，讲究上下尊卑，所以在道观建筑中也有所反映。白云观的中路殿堂，无论是外观还是殿内陈设或殿前的院落，都较东西两路的高大、华贵、宽阔。中路奉祀的是道教中的尊神，如玉皇大帝、三清四御、全真道的教祖王重阳(王)、北七真人(王在山东所度七大弟子)等。
白云观中路的主要建筑大致分为五进，有灵宫殿、玉皇殿、七真殿、丘祖殿、三清阁和四御殿。灵官殿在山门的北面，供奉着山门的护法神；丘祖殿是中心建筑；七真殿也叫老律堂，是观内道士的主要宗教活动场所，也是全真龙门派历代律师传戒之地。中路最北端是一双层建筑，上层即三清阁，供奉道教最高尊神玉清元始天尊、上清灵宝大尊、太清道德天尊。下层即四御殿，供奉位在三清之下的天上神界四位大帝。
