本所成立於1928年。是年初，大学院中央研究院筹备委员傅斯年向大学院院长蔡元培建议设置歷史语言研究所。3月，本院於广州中山大学筹设歷史语言研究所，聘傅斯年、顾頡刚、杨振声三人為常务筹备员。7月，正式成立，由傅斯年代行所长职务。10月22日迁入广州柏园，始有独立所址，后经议定，以此日為本所所庆纪念日。


初在广州，分设史料、汉语、文籍考订、民间文艺、汉字、考古、人类学及民物学、敦煌材料研究等八组。1929年迁北平，将原设八组归併為三个学术组，一為歷史学组，从事史学及文籍考订；二為语言学组，从事语言学及民间艺文；三為考古学组，从事考古学、人类学及民物学，并分别聘请陈寅恪、赵元任、李济為一、二、三组主任。九一八事变 （1931）后由北平迁上海。1934年，本院在南京之建筑陆续竣工，本所亦由上海迁至南京。同年5月增设人类学组。



中日战争期间，本所先迁湖南长沙，继迁云南昆明，最后定居於四川南溪县李庄之板栗坳。1946年迁回南京，继续推动各项研究工作，并接收北平东方文化研究所及近代科学图书馆图书，成立「北平图书史料整理处」。1948年冬，时局突变，本所在傅斯年所长主持下，将人员、图书、标本、文物等由南京迁臺，设临时所址於桃园县杨梅镇。1954年春，随本院定居南港现址。随著时局稳定与臺湾经济成长，本所规模得以日渐扩充。1954年，有研究大楼及仓库各一幢；1957年，兴建考古馆，1968年开始分期增建考古馆后幢；1960年建傅斯年图书馆，1978年扩建第二栋书库，1989年又增建第三栋。1986年，歷史文物陈列馆正式啟用。1994年，研究大楼竣工。本所建筑乃呈现今日规模。


定居南港后，本所建制亦有所调整。1958年增设甲骨文研究室，1990年易名為文字学组。另有三馆，分别收藏本所重要图书和文物，即傅斯年图书馆、歷史文物陈列馆以及臺湾考古馆。1995年起，為推动群体研究，设置专题研究室，以匯聚所内、外研究人力和资源，目前计有文化思想史、法律史、臺湾与东南亚考古学、文物图象、生命医疗史、礼俗宗教、世界史、古代文明八个研究室。另外，先后设有明清档案、汉籍资料库、地理资讯系统、金文、安阳五个工作室；以及骨骼、科技考古、文物维护三个实验室。1997年，语言学组成立语言学研究所筹备处，本所名称维持不变，分為歷史学、考古学、人类学和文字学四组。2003年配合院方废组政策，改「组」為「学门」，学门设召集人，负责相关同仁的人事、行政、学术方面的领导工作。（请参看「组织架构图」）



人文学科的研究必须个人与集体并重，一方面尊重个人的研究领域，另方面在水到渠成之时，鼓励合作研究，故本所未来仍将秉持这个原则，一方面尊重个人研究，鼓励同仁成為个别领域的领导学者；二方面以专题研究室為基础，突出几个跨学门的、全所性的研究重心。期待同仁扩大格局与眼光，以亚洲及世界的视野来思考我们所从事的种种研究，并力图与世界各国歷史文化进行比较。同时，积极整理出版所藏学术材料，扩充数位环境，期以建构世界汉学研究的平台。