1921年春，赵世炎与周恩来等发起成立旅法中国共产党早期组织，成为中国共产党党员。1922年6月，赵世炎在巴黎西郊主持召开旅欧中国少年共产党成立大会，当选中央执委会书记，随后又任中共旅欧总支部委员和中共法国组书记。在旅欧党团组织建立过程中，赵世炎始终发挥着重大作用。他品德高尚，才华出众，特别是他的实际工作能力和组织才能为大家所称颂。聂荣臻后来在回忆这一段经历时曾说：“接触过他的，不管男女老幼都同他合得来。他和蔼可亲，而在重大问题面前，又显得很严肃，原则性很强。在艰苦的时候，他总是表现坚决勇敢，不避艰险。我们都很崇拜他。”蔡畅后来也回忆说：“世炎和恩来全身都是聪明。”当时，同志们都称赵世炎为“聂拉尔”（法语“将军”之意），赞誉他有“总理”之才。
1923年3月18日，按照陈独秀的安排，赵世炎和陈延年、陈乔年、王若飞等人带领一批青年前往莫斯科东方劳动者共产主义大学学习。4月18日晚，中共旅莫支部委员会召开支委会听取赵世炎的情况报告。虽然没有发言稿，但赵世炎凭借着对各方面情况的充分掌握，发言时条分缕析、娓娓道来，赢得参会同志的一致赞赏。会议刚结束，中共旅莫支部书记罗亦农就迫不及待地向大家说：“世炎同志是我们党的一把好手。”来到莫斯科，来到心目中的革命圣地，赵世炎感觉迎面而来的一切都是新鲜而亲切的。虽然在法国时他已接受了马克思主义，但现在可以在东方大学的课堂上系统地学习、研究马克思主义，是他之前做梦也没有想到的。据萧三回忆：“他（赵世炎）认为这是非常难得的一种享受。这样好的机会，他当然一分一秒也不肯浪费，一直紧张而认真地刻苦学习着。”
1924年7月，赵世炎回国工作，先后任中共北京地方执委会委员长、中共北方区执委会宣传部部长兼职工运动委员会主任，协助李大钊领导北方各省的斗争。1926年3月，赵世炎出席在广州召开的第三次全国劳动代表大会。会后，中共中央任命赵世炎担任中共江浙区委组织部部长、上海总工会党团书记，并兼任江浙区委军委书记，希望他贯彻第三次全国劳动代表大会的决议，推动上海工人运动迈向高潮。到上海后，赵世炎化名“施英”，和罗亦农、汪寿华等组织了“五卅周年纪念”大规模示威*。这次示威*规模浩大，对促进上海社会各界群众组成革命的统一战线起到了极大的推动作用，上海的帝国主义者和资本家惊恐地将之称呼为“恐怖的五月”。当时，有些工人对自己的苦难生活总是怨天尤人，归因于自身命运不济，而不愿积极参加罢工斗争，经常说：“阿拉（我们）工人命不好，再出头不过是个‘土’，只有死了，埋在土里，才能出头。”了解到这些情况，赵世炎就经常找态度消极的工人拉家常，组织这部分工人在夜校里学习，召开工人积极分子会议，通过各种形式调动大家斗争的积极性。针对工人死后才能出头的说法，他旗帜鲜明地予以驳斥，同时生动形象地说：“‘工’和‘人’加在一起就是‘天’，工人团结起来力量大似天。”由于赵世炎既有坚定的信仰，又有灵活的工作方法，同志们都佩服地称誉他既是理论家又是实践家。
1926年10月，北伐军攻克武汉，革命形势进一步发展。但由于时机不成熟，上海工人的第一、第二次武装起义均告失败。赵世炎在中共江浙区委会议上及时总结经验教训，鼓舞大家重振士气，准备再次武装起义。为了加强领导，中共中央军事委员会书记周恩来到达上海参加第三次武装起义的组织、准备工作。为了强化工人武装力量，周恩来和赵世炎将5000人的工人纠察队按照大队、中队重新编组，每日夜间加强操练。同时，为进一步扩充力量，党决定派一些同志打入由反动军阀和资本家控制的保卫团中去。但这一决定遭到部分同志的抵触，大家很难从情感上接受资本家的“领导”。对此，赵世炎语重心长地说：“同志们，我们要武装自己，可是武器很少；我们要进行训练，可是不能公开，很受限制；因此我们才决定派一部分同志打进去，既抓取一部分武器，又能利用公开身份进行训练，这不是件好事吗？再说我们不打进去，敌人也要组织起来，那就成了道地的反革命武装了。这是党的决定，一定要执行。”在周恩来、赵世炎的组织下，上海各区工人纠察队中有不少同志打入了保卫团，使党控制的武装力量有了明显增强。
1927年3月21日，上海工人举行了第三次武装起义。上海80万工人实行总同盟罢工。霎时间，铁路断轨、电灯断线、自来水断水，每条街巷、每个工厂均成为斗争的前线，整个上海成为起义的战场。在赵世炎的果断指挥下，沪东工人纠察队发起猛烈攻势，顺利进入闸北。闸北是敌人重兵防守之处，有武装据点20余个。但在广大群众的配合下，工人纠察队用150支破旧*、3颗*，血战30小时攻取了闸北，消灭了直鲁联军和2000名警察，彻底解放了上海，取得了起义的完全胜利。对于上海工人第三次武装起义的成功，赵世炎激动地说：“三月暴动在世界革命史中的价值，是写在十月革命后的一页。三月暴动在中国革命史中的位置，是划分中国革命历史的一页新篇幅。”
上海工人第三次武装起义虽然成功了，但当时的革命形势不容乐观，以蒋介石为首的国民党右派正在紧锣密鼓地夺取大革命的胜利果实。对此，赵世炎有着清醒的认识：“蒋介石根本是反动的，现在我们欢迎他，将来他会掉过头来打我们的。”“我们有吃蒋介石子弹的危险！同志们对此必须有足够的警惕。”后来的事实证明，赵世炎的预见多么深刻！
