导读 澜澜今天发现不少朋友对于阿里通义千问开源首个MoE模型,这个还不是很了解，那么现在让我们一起来看看吧。
据阿里通义千问消息，3月29日，通...
澜澜今天发现不少朋友对于阿里通义千问开源首个MoE模型,这个还不是很了解，那么现在让我们一起来看看吧。
据阿里通义千问消息，3月29日，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数，但性能可与当前公认最先进的70亿参数模型（Mistral7B、Qwen1.5-7B等）相媲美。
以上就是关于【阿里通义千问开源首个MoE模型】的相关内容，希望对大家有帮助！
标签：
免责声明：本文由用户上传，如有侵权请联系删除！