近日，紫光股份旗下新华三集团携手英特尔，推出基于第四代英特尔®至强®可扩展处理器的H3C UniServer R6900 G6大模型微调及推理解决方案，充分释放CPU的AI算力，降低了AI训练及推理场景所需的基础设施总体拥有成本，使中小企业能够迅速融入AGI的革新潮流。

新华三H3C UniServer R6900 G6大模型微调及推理解决方案，成功展示了基于中等参数量级（34B及以下）大模型的微调和推理能力。其得益于四大重要技术突破：

英特尔第四代至强平台加速大模型的训练和推理能力

第四代英特尔®至强®可扩展处理器内置的英特尔®AMX加速引擎是面向深度学习工作负载的新一代技术。该技术不仅延续了上一代英特尔至强可扩展处理器的内置AI加速技术，还带来性能提升，非常适合自然语言处理、推荐系统和图像识别等工作负载。英特尔®AMX可提高平铺乘法性能，显著提升吞吐量，使用PyTorch进行实时推理和训练，相比上一代处理器提升了3-10倍的推理和训练性能。

新华三集团四路服务器突破单机算力瓶颈

在微调场景下，部署NVMe硬盘的数量决定了应用性能的高低。H3C UniServer R6900 G6四路服务器单机可部署32块NVMe硬盘，采用高带宽低延迟的UPI互联方案，能够实现CPU算力的高速横向倍增。这意味着可在一个节点上完成所有的计算任务，从而完全避免了分布式训练带来的各种问题，助力客户的微调应用。

微调场景下CPU突破显存限制

以Llama-2 30B模型为例，在进行16位浮点数训练时，如果训练批量大小被设定为16并且使用Adam优化器，估算需要600GB左右的显存才能成功完成30B模型的LoRA微调。传统GPU的方案无论是成本还是供应能力，都给中小企业带来了挑战。H3C UniServer R6900 G6服务器可提供高达16TB的内存容量，相比于GPU方案，能够减少显存压缩和多卡间数据通信的消耗，从而完成微调训练任务，打破显存限制。