8月，上海共产党小组正式成立，机关刊物为《共产党》，这是中国第一个共产党小组。9 月，张国焘兴致勃勃返回北京。此时皖系军阀在直皖大战中失败，北京政权被直系曹锟、奉系张作霖联合控制，形势已趋稳定。张国焘重返校园后，首先去红楼李大钊在图书馆的办公室，向李大钊介绍了上海共产党小组成立的详情，并说：
“陈独秀先生让我转告您，希望您能在北京尽快成立共产党小组。”
“好，我已经有个初步考虑。”
此时李大钊已经收到陈独秀的来信，请他在北京成立共产党小组，以南北呼应。北大讲师张申府也受陈独秀之托与他谈过此事，他对张国焘说：“我们就依照上海共产党小组的模式，在北京也建立一个同样的共产党小组。”
随后，李大钊将自己的决定告知张申府，邀请他参与发起建立共产党小组。张国焘则联系了罗章龙、刘仁静两名同学参加进来。
9 月中旬，北京共产党小组在李大钊的图书馆主任办公室召开第一次会议，张国焘、张申府、刘静仁、罗章龙与无政府主义者黄凌霜、陈德荣等共九人到场，与李大钊共同商议发起北京共产党小组的相关问题。
张国焘向大家介绍了上海共产党小组的详细情况，会议最终商定了工作如何进行和分配，其中李大钊负责联络工作，张国焘担任工人运动的发动工作，黄凌霜、陈德荣负责创办《劳动音周刊》的编辑与发行工作，罗章龙、刘仁静负责组织社会主义青年团。