最早的八仙出现在汉代，是号称“淮南八仙”的八个文学家，当时称作“八公”。《小学绀珠》记载：“淮南八公：左吴、李尚、苏飞、田由、毛披、雷被、晋昌、伍被。”
由此可见，淮南八仙只是八个文人，并非神仙。但后来因为有淮南王成仙的传说，后世便附会在他门下的八公也成仙了，称作“八仙”。
晋代谯秀所著《蜀纪》中，载有：“蜀之八仙”，依次是：“首容成公、隐于鸿辏袂喑巧揭玻淮卫疃胧瘢蝗偈妫嗲喑巧揭浚凰恼诺懒辏窈酌郏晃遄悠剑匪猎诔啥迹涣畎税伲哦丛诔啥迹黄叻冻ど谇喑巧剑话硕煜壬谘胖荨?rdquo;上述的“八仙”与现在所传的八仙，都毫无关系。
八仙的事迹多散见于唐、宋时的书籍中，但当时还没有形成“八仙”这样一个群体。真正集八人合称“八仙”的，是在元人创作的杂剧中。这些杂剧都并称八位神仙，但人名有出入，各家不尽相同。
马致远的杂剧《吕洞宾三醉岳阳楼》第四折末《水仙子》，以吕洞宾的口吻，依次介绍八仙道：“第一个是汉锺离，现掌着群仙箓；这一个是铁拐李，发乱梳；这一个是蓝采和，板撤云阳木；这一个是张果老，赵州桥骑倒驴；这一个是徐神翁，身背着葫芦；这一个是韩湘子，韩愈的亲侄；这一个是曹国舅，宋朝的眷属；则我是吕纯阳，爱打的简子愚鼓。”上述八仙，均为男性，没有现在所传八仙中的何仙姑，却多了个徐神翁。
自从明代吴元泰的演义小说《东游记》一书问世后，“上洞八仙”才选定了。吴元泰排定了八仙的顺次：一、铁拐李，二、汉锺离，三、监采和，四、张果老，五、何仙姑，六、吕洞宾，七、韩湘子，八、曹国舅。这八仙的组成及排名次序，已经与现在所传八仙完全吻合，说明大多数人接受了吴氏的说法。
