低于1TB支持100并发联想AI服务器首次实现本地部署DeepSeek性能突破
网讯(记者李兴彩)联想在AI大模型领域再获突破。
近日,联想集团宣布,基于联想问天WA7780 G3服务器,在行业内首次实现单机部署DeepSeek-R1/V3 671B大模型,以低于行业公认1TGB显存(实际768GB)承载100并发用户流畅体验,可以满足千人以上企业的使用需求,为行业树立了企业级大模型部署新基准。
众多企业都在准备本地化部署DeepSeek大模型,然而,在落地实施过程中,用户普遍面临以下关键决策难题:单机能否部署满血版DeepSeek R1?所需蕞低配置是什么?如何确保高并发与吞吐量下的优质体验?如何避免采购陷阱?
联想此次突破为企业提供科学选型指南。联想研发团队通过专家并行优化、智能访存架构升级及PCIe 5.0全互联架构创新,大幅提升了显存利用率,从而实现性能提升。
联想实测数据显示,在512token标准测试环境下,该系统可支持100个并发用户持续获得每秒10token的稳定输出,首token响应时间压缩至30秒内。即便面对4K长序列复杂场景,仍能保持25个并发用户同等性能表现。
尤为值得关注的是,这台服务器仅配置8张96GB显存的GPU卡。而DeepSeek-R1大模型的模型参数就需占用约700GB显存,仅余不到100GB显存空间可用于KV-Cache等计算,如果不做专门优化,仅能支持2、3个用户接入。
联想在万全异构智算平台加持下通过精心优化实现了突破,成功达成用户蕞为关注的三项关键指标:首token延迟小于30秒、单token延迟小于100毫秒、支持2K以上长序列问题处理,同时实现了20%以上的成本节约,充分彰显联想在服务器领域的深厚技术积累与创新实力。
联想问天WA7780 G3大模型训推一体服务器
在业内人士看来,联想的技术突破将有效破除大模型落地瓶颈,显著加速大模型在企业的落地进程。据悉,未来,联想基础设施业务群与联想研究院先进计算实验室将继续携手合作,依托联想万全异构智算平台对DeepSeek平台从AI预训练、后训练到推理的全流程进行持续优化,为客户奉献性能更佳、性价比更高的产品和解决方案,以加速DeepSeek大模型落地,推动新一轮生产力革命。

产业招商/厂房土地租售:400 0123 021
或微信/手机:13524678515; 13564686846; 13391219793
请说明您的需求、用途、税收、公司、联系人、手机号,以便快速帮您对接资源。
长按/扫一扫加葛毅明的微信号

扫一扫关注公众号