MallBuy
购物车 (0)

[商品主图]

Beam用230亿激活参数撑起5010亿的模型

¥3514.00

发货地:中国 · 销量:79478次阅读

保障:七天无理由退换 · 正品保证


商品详情

10月5日,纽约的Reflection AI发布了公司第一个开放权重模型,取名Beam。它是一个稀疏混合专家模型,总参数5010亿,每次推理只激活其中230亿。这个配比是它敢往外报低成本的底气——拿一小部分参数去干活,跟同等规模的稠密模型比,硬件门槛和推理开销都不在一个量级。模型定位是编程、推理和智能体任务,目前只处理文本。训练数据里有两组数字值得记下来。预训练用了23.8万亿个token,跑在6144张GB300组成的NVL72集群上,四周内跑完,官方称有效算力占比达到92.3%——这个指标衡量的是有多少GPU时间真正用在了最终保留的模型上,而不是花在崩溃与重启里。之后的强化学习阶段另换了1