最近,人工智能领域被一位年轻人的名字掀起热潮,他就是17岁的陈广宇。10月15日,这位“00后”少年在社交媒体上发文宣布自己将退出月之暗面(Kimi)团队,这一消息迅速引起了广泛关注。几乎与此同时,前DeepMind推理架构负责人、现任Anthropic研究员的肖尔托·道格拉斯也在评论区中表达了希望他的心愿,诚挚邀请他前往旧金山。传言称,陈广宇在宣布离开后不久便收到了五份年薪均超过100万美元(约700万元人民币)的工作邀约。这位备受国际关注的年轻科研人员,曾在深圳学习和成长。
陈广宇出生于2009年,早期在北大附中深圳南山学校就读,随后转入华润小径湾贝赛思国际学校,并于今年6月顺利完成高中学业。去年11月,他年仅16岁时便加入了Kimi团队,担任机器学习研究员。由此可见,他在Kimi团队工作的时间并不长,不超过一年。值得一提的是,陈广宇还被选入罗德信托的“高潜力未来领袖计划”,同时曾在美国顶尖的小型实验室Tilde Research进行AI研究。
在短短的一年内,陈广宇已参与了两项重要研究。今年3月,Kimi发布了技术报告《Attention Residuals》,重新设计了长期未变的核心结构残差连接。该报告的第一作者包括Kimi团队的重要成员苏剑林和新型混合线性注意力架构的首席作者张宇,此外,还有陈广宇的名字。研究过程中,他与张宇提出了“分块注意力残差”的设计思路,既保留了效果,又显著降低了大型模型训练中的计算量和通信成本。论文发布后,马斯克对此表示“让人印象深刻”,而前OpenAI研究科学家Andrej Karpathy也指出该研究生动体现了“Attention is All You Need”的理念,推理领域的先行者Jerry Tworek则表示“深度学习2.0时代来临”。
在7月,月之暗面推出了新一代模型Kimi K3,总参数规模达到2.8万亿。数据显示,用于提升训练效率的AttnRes附加成本不足2%,却带来了约25%的效率提升。陈广宇还参与了加速另一核心架构KDA的计算内核的开发工作,这两大关键架构均有他的贡献。未来他将走向何方?在接受肖尔托·道格拉斯的邀请时,陈广宇表示:“谢谢Sholto!我正计划前往湾区。”也有分析认为,他的离开可能是为了去继续深造。至于他将如何选择,令人期待的答案即将揭晓。