在译书公会成立之前，西文及日文书的翻译在中国已有一段时间，但总数并不太理想，仅有400种左右，无法包容近代西方的全部新知识。同文馆的翻译偏重于法律类，上海江南制造局、天津水师学堂的翻译则多为兵家之言，各在华教会也翻译了不少西文著作，但多偏重于宗教，而于西方国家政教之本与一切农工商艺术却极少翻译。译书公会的成立，在某种程度上是要弥补先前翻译西文图书之不足。
译书公会的创办宗旨是为了翻译介绍近代西方与日本的新知识，“使中国识字俊民人人得窥泰西东国之由与致用之实”，“以采译泰西东切用书籍为宗旨”，延聘翻译高手，并与伦敦、巴黎等地各大书店相联系，及时将西方各国出版的有关政治、学校、法律、天文、舆地、矿务、农学、军事以及光、化、电、汽等诸种新学译介国中。章太炎更期望译书公会的成立，能使中国人接受西学的进度大大加快，“然则是译书会者，安知不如微虫之为珊瑚，与蠃蛤之积而为巨石也。呜呼！斯又夸父、精卫之志也。”
