1921年春,张太雷被派往苏联伊尔库茨克,任共产国际东方局的中国科书记;6月,陪同共产国际代表马林和赤色职工国际代表尼可洛斯基回国,筹备建立中国共产党;6月至7月,又以中国共产党代表的身份被派往苏联参加共产国际第三次代表大会。
1925年1月,中国共产党第四次全国代表大会以及青年团第三次全国代表大会相继在上海举行,张太雷参加了这两个大会,分别当选为中共候补中央委员以及青年团中央书记。会后,张太雷被派到广州,在国民党中央宣传部工作,任孙中山聘请的苏联顾问鲍罗庭的助手和翻译,对加强国共两党的合作,促进革命形势的发展,作出了重要贡献。同年秋,张太雷还兼任中共广东区委常委、宣传部长,他经常受区委的委托,草拟各项文件,到各种训练班作报告,还经常向群众发表演说。1926年2月,中共广东区委机关刊物《人民周刊》创刊,张太雷是该刊的主编,他在该刊发表大量文章,积极反对帝国主义以及国民党右派破坏革命统一战线的罪行。1926年3月,蒋介石在广州制造了“ 中山舰事件”,张太雷对蒋介石的反革命阴谋,坚决主张反击,提出“ 把工农武装起来,组织一万工农群众,以革命武装反对右派的反革命进攻。”并为中共广东区委草拟了一封公开信,阐明了中国共产党对当前革命问题的态度,又在《人民周刊》发表文章,揭露国民党右派阴谋。5月,蒋介石召集了国民党二届二中全会,提出了“整理党务案”,再次向共产党发动进攻。张太雷态度鲜明地发表了《反动派在广东之活动》以及《到底要不要国民党?》等文章,指出“中山舰事件”和“整理党务案”的发生,“很显而易见的就是那班已开除与未开除的反动派所造成的,他们趁全国现时反动势力高涨的时候,想把革命基础断送。”对蒋介石的反共阴谋,作了进一步的揭露和批判。
1927年9月下旬,南昌起义部队从闽西上抗插入广东大埔,直奔潮汕地区。为策应起义军人粤,张太雷赶往潮汕地区组织群众斗争,发动潮汕铁路工人罢工,挖断路基,使汕头之敌不能运兵到潮州增援;又发动潮汕地区的商民、店员举行罢工、罢市,拒用国民党纸币,使全市陷入一片混乱;还领导浮洋区的农民自卫军,围攻徐陇、洪港等地的封建地主堡垒,配合南昌起义军消灭敌人。起义军攻克潮州后,张太雷又组织铁路工人,连夜抢修铁路,并领导当地农民自卫军,配合南昌起义部队,打垮铁路沿线浮洋、斗文、金石、新塘等地的反动武装,使起义军顺利攻占汕头。
起义军攻克汕头后,张太雷向周恩来,李立三等传达了“八七”紧急会议精神,并转达中央临时政治局的决定:将南昌起义后建立的中国国民党革命委员会改为苏维埃;唾弃国民党的旗帜,改竖斧头镰刀的红旗,由中国共产党单独领导革命;放弃潮汕,部队转移刻海陆丰与当地农民武装结合,建立革命根据地等。
起义部队退出潮汕后,张太雷返回香港。10月15日召开了南方局、广东省委联席会议,总结南昌起义部队主力在广东失败的教训,作了《“八一事变”的经过、失败原因和前途》的报告,指出今后斗争策略,以迎接新的战斗。会后,张太雷离开香港,经汕头转赴上海向中央汇报。在上海期间,参加了中央临时政治局扩大会议,并和周恩来、苏兆征等研究制订了广州起义计划。11月20日,张太雷回到香港。
12月4日傍晚,张太雷在黄花岗召集教导团,警卫团和黄埔特务营等单位的党团员和积极分子200多名举行秘密会议,向大家作了关于当前国内形势以及目前广州敌我情况等问题的报告,要求大家分工联系周围群众,加紧做好全体革命官兵的思想发动工作,并仔细调查和严密监视团内反动分子的活动等。会后,张太雷还亲自主持了教导团各级干部的分组训练,落实教导团的各项起义准备工作。为研究起义时的军事部署、起义政纲以及起义后成立苏维埃等问题,张太雷亲自主持召开了省委常委和革命军事委员会等一系列会议,并通过了起义的具体日期。
然而,就在这关键时刻,我方秘密淹藏武器的小北大安米店被敌人破坏了;教导团内部的反动分子也向敌人告了密。汪精卫在上海接到了共产党准备在广州举行起义的密报,连夜派了他的老婆陈壁君赶赴广州,令张发奎迅速解除教导团的武装,镇压工人赤卫队,搜查各工会。12月9日,汪精卫又电令张发奎马上采取行动。张发奎密令他的“护党军”前敌总指挥、第四军军长黄琪翔赶紧白西江前线返回广州,执行汪精卫的计划,公安局也加紧全市户口的检查工作。
在这紧急时刻,张太雷立即召开了革命军事委员会紧急会议,决定把起义日期提前到12月11日。为了保证起义的顺利进行,张太雷立即召开了教导团、警卫团的骨干会议,任命了起义军各级指挥人员,确定了起义部队标志、各连队进攻的目标和起义时对团内敌人采取措施等。会后,张太雷和工农红军总指挥叶挺、秘书长恽代英以及工人赤卫队的代表,在教导团一位连长的陪同下,来到北郊四标营,主持教导团誓师起义。张太雷在会上作了起义的动员。
11日凌晨3时半,广州起义的枪声打响了。接着,参加起义的革命士兵以及埋伏在各地的工人赤卫队、郊区农民自卫军立即投入战斗,一齐向反动派开火。转瞬间,起义部队就攻占了珠江北岸大部分市区。凌晨,广州苏维埃政府成立。张太雷当选为广州苏维埃政府代主席(主席是苏兆征,未到)兼人民海陆军委员。由于部分敌军据点尚未攻下,苏维埃政府成立伊始,不少问题均待解决。张太雷忙个不停,晚上又连续召开会议,讨论局势问题。
12日中午,广东工农兵拥护苏维埃政府大会在丰宁路西瓜园召开,张太雷在会上发表了热情洋溢的演说。会后,他回到起义总指挥部。不久,闻敌人从观音山向起义总指挥部扑来,便急忙与国际代表乘车前往大北门指挥战斗,至大北直街(现解放北路)附近,遣敌人伏击,张太雷身受重伤,医治无效,壮烈牺牲,为中国人民的解放事业献出了宝贵的生命,时年二十九岁。