取消
搜索历史

    腾讯混元团队参与Reddit问答 计划扩大模型参数规模

    来源:电子芯片网 2026-11-22 10:39业界资讯

    11月,腾讯在发布Hy4与Hy4 flash之后,围绕其AI进展的讨论持续升温。11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit技术社区进行了一场持续120分钟的AMA,集中回答外界关心的研发方向与思路。

    回应中,模型参数规模成为焦点。面对字节、Kimi等向万亿参数推进的背景,混元团队解释,总参数量770B的Hy4与224B的Hy4 flash更偏向通用用途,而非只强调编程能力。Hy4仍有较大提升空间,团队尤其在后训练和大规模强化学习上投入较多精力。

    混元团队表示,正在计划训练参数规模更大的模型,并继续相信Scaling Law,下一代Hy模型的规模会显著扩大。对于小参数模型,团队称更小尺寸的Hy4-mini已在路线图中,还在考虑24B至31B稠密模型,前沿Flash Lite也在推进;图像模型可能进一步缩小,视频模型也值得关注。

    团队强调,Hy3和Hy4说明扎实的较小模型也能胜过更大模型,而且成本更低。

    关于AGI阶段,用户提到一张分级表:2级为熟练成年人的中位数水平,3级为熟练成年人的前10%水平。混元团队认为,Hy4目前处于2.5级。

    技术问题上,Hy4有时推理耗时较长。团队承认思维链过长是已知现象,因为目标是把智能水平尽量推高;他们将相关能力蒸馏到性价比较高的Hy4 flash中,并通过强化学习控制flash的思维链长度。后训练阶段,最难改善的行为就是“过度思考”。

    团队还提到,创意写作和可读性是重点改进方向,仍有提升空间。数据和评估被视为通向AGI的重要工具:数据决定模型能力,评估引导方向。持续学习技术也在研究中,团队认为这是有前景的方向。

    自姚顺雨负责以来,混元没有把基准测试刷榜作为目标。有用户注意到,混元未公布GPQA Diamond、SWE Bench等常见基准结果。团队回应,这些基准推出较早,分数已趋饱和,他们展示的是较新的高难度基准成绩,例如Agents' Last Exam;研发中会借助更好的训练数据和多样化内部评测处理问题,不刻意刷榜。

    在先进AI芯片供应受限的情况下,混元能否追上最前沿模型也受到提问。团队表示,正在极致压榨现有资源,以追赶前沿水平。

    (本文内容信息不代表电子芯片网观点,如有版权疑问请马上联系客服。)