对工业设计团队来说,用AI分析项目资料时,有个很实际的问题。图纸和技术文件需要留在本地,手边的电脑却未必跑得动处理复杂任务所需的大模型。 中科可控的TokenStation W50X给出了一种桌面方案。作为业内首款国产TokenStation工作站,W50X支持在本地运行180B级MoE模型,也就是总参数量约1800亿的混合专家模型。 把这么大的模型放到工位旁,首先要解决的是容量。模型的权重放在哪里,推理时又怎么及时读到? 超大内存,让180B级大模型在桌面常驻 受算力和显存限制,过去桌面端通常部署27B级及以下的模型。W50X把本地推理支持的模型规模推到了180B级。这里有一个技术细节。MoE模型每生成一个Token,只调用一部分专家参与计算,但每一步用到的专家可能不同。要让模型连续输出,整套专家权重都需要随时可取。 如果每次用到新的专家,都要临时从SSD读取权重,生成速度就容易忽快忽慢。W50X采用最高1TB的企业级内存,配合国产AI算力卡的高速显存,让整套专家权重可以常驻在内存和显存中。其中,大容量内存提供存放权重所需的空间,高速显存承担高频访问,减少从SSD反复读取权重带来的等待。 拿一份技术文档来说,第一轮可以让模型找出关键条款,下一轮再让它结合前文,解释两条要求之间的关系。这个过程中,模型会用到一块叫KV Cache的缓存。它保存模型处理前文时产生的中间结果,让模型继续生成时可以复用。文档越长、追问越多,缓存占用的空间也就越大。 这就是大模型装进工作站后,还需要给实际任务留出空间的原因。W50X的内存和显存组合,在容纳180B级模型权重的同时,也为长上下文缓存留出了余量。团队可以在本机围绕同一份长文档连续提问。如果工作中需要在不同模型之间切换,或者同时运行领域知识库,更大的容量也为这些任务留出了空间。 从本地推理到3D建模,一台工作站都能接 对设计师来说,同一台工作站可以先用大模型查阅项目资料,再用熟悉的专业软件继续建模。整个过程中,项目文件可以留在本机。按需扩展高性能显卡后,W50X还可以承担工业建模、3D绘图和视频剪辑等工作。 要在办公室里长期使用,工作站还得兼顾可靠性和噪声。W50X采用企业级部件和服务器级RAS机制,为长时间运行提供硬件保障。处理器最高支持64线程,可应对复杂并行任务。按产品资料,整机满载噪声低于40 dB,适合部署在工位旁。 对设计团队、开发者和小型工作室来说,W50X带来的变化很具体。原本需要调动云端算力的一部分大模型推理任务,现在可以在日常工作的那台机器上完成。想看看它能接住多少工作,试用时可以带上一份平时最难处理的长文档,按自己的工作习惯连续追问几轮。 目前,中科可控已开放W50X免费试用申请,面向渠道伙伴的工作站招募“引力计划”也在持续进行中。 加入【引力计划】申请工作站免费试用 特别