EN 提交工具
模型

Motif-3-Beta 发布:314B 参数稀疏 MoE 模型

发布时间: 信源:X:AK (@_akhaliq)

分享XFacebook微博

Motif-3-Beta 刚刚在 Hugging Face 上发布 ~314B 总参数 / 每个 token 约 13B 活跃参数(稀疏 MoE) 256K 上下文长度(262,144 个 token),原生长上下文 稀疏路由:384 个专家,每个 token 激活 8 个,外加 1 个共享专家 多语言,通用 https://huggingface.co/Motif-Technologies/Motif-3-Beta

阅读原文 (在新窗口打开)

资讯动态数据由 AI HOT 聚合提供

相关资讯同类最新动态
· IT之家(RSS)
· X:Rohan Paul (@rohanpaul_ai)
· X:Kim (@kimmonismus)