腾讯发布开源MoE大语言模型Hunyuan
发布时间：2024-12-29 15:00:41 作者：玩站小弟 
我要评论
我要评论11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为
。
11月5日消息，腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面，腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练，弥补了自然数据的开源不足。
其中，模型该模型预训练支持处理高达256K的腾讯文本序列，大幅提升了长文本上下文的发布处理能力，能够更高效地完成长文本任务。开源
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
相关文章
开发商するめ工房宣布，其正在开发的高速机甲动作游戏《Project Six》正式定名为《OMEGA PHENEX COMMENCED PROJECT SIX》。同时，游戏的 Steam 商店页面也已开2024-12-29
自带温感标 升温变色：猫人秘密抗菌保暖内衣套装59.9元抄底
天猫【猫人秘密旗舰店】，男女抗菌膨蓬绒保暖内衣套装日常售价300.9元，今日下单，领取191元优惠券，叠加300-50，实付59.9元。先抽取今日红包，再买价更低：天猫无门槛红包 至高24888元：点2024-12-29
近日，外媒得到消息称《看门狗》系列游戏改编的真人电影版拍摄工作已于近日圆满结束。据悉，这部由育碧Ubisoft）和新摄政娱乐公司New Regency）联合制作的电影，自今年3月宣布开发以来，进展迅速2024-12-29
[流言板]字母哥：我在队友的眼神中都看到，他们原意为赢球付出一切
[流言板]字母哥：我在队友的眼神中都看到，他们原意为赢球付出一切由篮球资讯发表在篮球资讯 50211月01日讯 今天NBA常规赛雄鹿客场对阵灰熊的比赛已经结束。全场战罢，雄鹿以98-122不敌灰熊。本2024-12-29
Edge在Win11上速度越来越快：WebUI 2.0功不可没
Edge浏览器在Windows 11上的速度和响应性得到显著提升，这主要归功于新引入的WebUI 2.0框架。WebUI 2.0通过优化浏览器元素的加载速度，显著提高了Edge的运行效率。此前，使用J2024-12-29
曝大众中国区负责人年薪超400万欧元 大众每月为其支付15万元房租
11月5日消息，据德国媒体报道，大众汽车为外派中国的员工，提供了许多不错的额外福利。报道指出，大众汽车不仅为外派中国的员工支付住宿费，还支付全家人回德国的机票和孩子学费等，即便不包括工资奖金，每年各项2024-12-29
最新评论