成功实践丨安擎助力大模型在企业级市场落地

时间:2024-06-11

  大模型发展进入第二阶段,已经从通用大模型转向垂直大模型的深度定制,赋能产业数字化发展,助力大模型在企业级场景中的使用。


  某互联网企业自研认知型通用大模型,并已构建起大模型训练框架,把垂直大模型数据处理、预训练、精调的复杂过程流水线化、标准化,可支持根据业务场景进行定制,帮助企业提升客户服务体验、优化业务流程、提高生产效率。



1718093428257764.jpg


- 客户需求 -


· 高性能:大模型训练过程中需要对海量的数据进行复杂的计算,需要高性能服务器的支撑;

· 高带宽:足够的带宽以支撑服务器之间的数据传输和通信;

· 稳定性:大模型的训练通常需要运行数小时、数天甚至数周,需要服务器具有稳定性与可靠性;

· 易管理:对服务器进行远程操作和维护。


- 解决方案 -

  针对客户需求,安擎部署AI服务器EG840-G30,支持PCIe4.0技术,采用先进的硬件设计,在4U空间内支持10张全高全长双宽的计算卡,帮助用户高效完成AI基础设施和开发环境的构建。延续上一代高品质、高兼容性设计,实现更好的显存和性能扩展,大幅加速AI模型训练,满足用户对多样算力和快捷部署的需求。


·EG840-G30·

1718093579236548.png


- 客户价值 -

√ 高性能:服务器可支持10张计算卡,运行速率比上一代提高20倍,有效地加快训练速度并提高训练的效果;

√ 高带宽:可搭配最新的100G以太网卡和400G Infiniband网卡,提供强大的IO吞吐能力;

√ 稳定性:GPU平台可以通过检测、控制并持续纠正错误和故障,确保GPU在高计算环境中的安全,保障训练与推理流程不中断;

√ 易管理:IPMI和KVM Over IP高级管理功能,可远程对服务器进行任务调度、资源分配以及错误诊断。




返回列表
安擎计算机信息股份有限公司
  • 服务热线:
    售前—400-779-6858 售后—400-700-6909
  • 服务邮箱:
    support@ivantseng.com
  • 销售邮箱:
    sales@ivantseng.com
公众号
Copyright © 2023 安擎计算机信息股份有限公司 版权所有 津ICP备17006743号 公网安备 12011402001065号
中央网信办互联网违法和不良信息举报中心:http://www.12377.cn 天津市互联网违法和不良信息举报中心:tjjubao@tj.gov.cn http://www.qinglangtianjin.com