你的位置:ky体育(中国)官方网站 登录入口 > 新闻动态 > kaiyun官方网站要点优化了 AI 推明智力-ky体育(中国)官方网站 登录入口
发布日期:2026-07-27 06:17 点击次数:188

IT之家 8 月 12 日音问,科技媒体 WccfTech 昨日(8 月 11 日)发布博文,报说念称为其锐炫 Pro 系列 GPU 的 Battlematrix 风景kaiyun官方网站,发布首个重磅软件更新 LLM Scaler v1.0,要点优化了 AI 推明智力。
IT之家曾于 5 月报说念,英特尔在 COMPUTEX 2025 台北国外电脑展上,推出锐炫 Arc Pro B50 和 B60 两张显卡以外,还推出了 Project Battlematrix 推理职责站平台,援手最多 8 张锐炫 Pro 显卡并具备软件包援手,能运转高达 150B 参数的中等范围且精度高的 AI 模子。
Battlematrix 平台集成硬件与定制化软件栈,优化推感性能和企业部署体验;而 LLM Scaler 是基于 vLLM 框架莳植的 AI 大模子推理容器,援手多 GPU 彭胀、长序列高效推理及多模态任务。

LLM Scaler v1.0 要点优化了 vLLM 推理框架,关于 32B KPI 模子,40K 序列长度下性能升迁可达 1.8 倍;70B KPI 模子同要求下升迁高达 4.2 倍,8B 至 32B 范围模子输出概括量较上版升迁约 10%。
该版块还引入分层在线量化,有用镌汰显存占用,并援手管说念并行、数据并行、多模态模子及镶嵌、重排序等功能,升迁模子相宜性与彭胀性。
为便于企业级运维,LLM Scaler v1.0 集成了 XPU Manager 器用,援手 GPU 电源护士、固件升级、会诊及显存带宽检测。
新容器基于 Linux 平台,充分欺诈多 GPU 彭胀和 PCIe 点对点数据传输,终了最高 80% 的合座性能升迁,系统同期具备 ECC、SRIOV、遥测与汉典固件更新等可靠性与可护士性特色,平静企业级部署需求。


英特尔强调,新软件栈罢黜行业圭臬,兼容主流莳植进程,OneCCL 基准测试器用的集成也为莳植者调优和性能评测提供了便利,进一步丰富了 Battlematrix 平台的生态援手。
凭据英特尔阶梯图,本季度内还将发布更为褂讪的容器版块,进一步优化 vLLM 就业智力。预测到本年第四季度,Battlematrix 风景将终了全功能版块落地,推进大模子推理平台的执续升级,为专科规模用户带来更高效、更易用的 AI 处置决策。
Powered by ky体育(中国)官方网站 登录入口 @2013-2022 RSS地图 HTML地图