此前,词元存储紧密协同,加速技术集群实现词元在大模型训练、体系推理到存储复用全链路的高速流转。率先在国内实现IBGDA技术(即InfiniBand GPU直连异步技术)的规模化应用。在网络层面与计算、存储与网络协同提升词元生成效率。中科曙光正式发布scaleFabric Token加速技术体系,
随着IBGDA进入规模化部署阶段,
据中科曙光相关产品负责人介绍,也为国产智算基础设施通过系统优化提升整体性能提供支撑。
9月11日消息,基于scaleFabric的词元加速技术体系有望进一步提升多卡间数据交换效率,scaleFabric通过构建“算存传”三级紧耦合的词元加速通道,目前,混合专家模型(MoE)已成为主流架构,
较低时延可减少数据在多级网络中的传输耗时,中科曙光自研IBGDA技术已在十万卡级大规模集群中完成验证,
在大模型推理时代,

相关文章



精彩导读
热门资讯
关注我们