腾讯混元开源Hy4flash,支持百万词元长文档与多模态输入

腾讯混元于11月18日开源Hy4flash系列大模型,面向需要本地部署、二次开发的开发者,提供支持多模态输入和长文本处理的新选择。该模型上下文容量最高达100万词元,可用于长篇文档阅读和复杂长对话;腾讯同时公布了其在元宝、企业微信等产品中的应用进展。

本次开源包含Hy4flash、Hy4flash-FP8和Hy4flash Base三种配置,开发者可通过GitHub、Hugging Face、魔搭社区及GitCode等平台下载。社区已有GGUF格式支持,便于开发者结合自己的部署工具使用,相关开源许可信息也已提供。

模型总参数量为2240亿,其中包含640亿Engram参数,每个词元实际激活的参数量为120亿。其架构特点是在保留较大总参数规模的同时,每次处理词元只调用部分参数。腾讯将其定位为强调成本效率的Hy系列模型,并表示对应API价格较此前Hy4有所降低。

据腾讯披露,Hy4flash已用于腾讯云TokenHub、WorkBuddy、腾讯元宝、企业微信、QQ、ima和Marvis,覆盖企业与个人用户使用的多款产品和服务。此次开源将模型获取方式从产品内使用扩展至下载和本地部署,腾讯还计划继续开放Hy4系列的更多模型。据KuCoin报道。