智能革命的浪潮之中@@@@,算力普慧@@、算法进化@@、数据@@爆发对@@AI基础设施产品组合的要求更进一步@@,第五代@@英特尔@@@@® 至强@@® 可扩展处理器@@的发布则强化了英特尔@@在@@@@AI产品的完整版图@@。
2023年@@,生成式@@AI研究和@@应用@@的爆发给云@@计算产业带来了全新的机遇和@@挑战@@:大模型需要庞大的算力支持@@@@,用户普遍需要向云@@计算厂商购买算力服务@@;且由于大量用户涌入云@@服务市场@@,云@@厂商需要尽快升级@@数据@@中@@心算力以@@应对@@AI需求@@,同时@@持续降低@@TCO,为@@用户提供价格合理的算力资源@@;此外@@,AI应用@@开发还涉及大量隐私敏感数据@@的云@@端存储@@和@@使@@用@@,云@@厂商也要全力保障这些数据@@的安全可靠@@,打消用户后顾之忧@@。
基于上述需求@@@@,云@@厂商迫切需要对已有硬件基础设施进行更新换代@@,要求新一代@@CPU能在@@保障基础设施平稳升级@@迭代的同时@@@@,具备更强的性能@@、更低的@@TCO,同时@@能够满足云@@端多样化工作负载需求@@的较强@@AI能力@@:
对于大型云@@服务基础设施而@@言@@,稳定性@@、可靠性依然是王道@@,因此云@@服务厂商升级@@硬件时决策更加谨慎@@,偏向于在@@有着长期延续性的主流平台@@上逐渐迭代@@,保护上层软件应用@@投资@@,减小对基础设施开发运维部门的冲击@@。大模型在@@云@@端训练@@、推理的过程需要用户将大量数据@@传输至云@@端@@,云@@厂商需要采取更强的安全措施@@,如硬件级@@的安全引擎来更好地保障敏感数据@@的安全@@,确保云@@实例@@间的数据@@隔离@@,预防恶意入侵和@@泄漏@@。AI应用@@涉及密集的低精度矩阵运算@@,需要较大的内存空间@@@@。对于大模型推理应用@@和@@中@@小尺度@@(参数规模低于@@20B)模型的训练应用@@而@@言@@,其在@@搭载@@AI加速器的@@CPU上运行可以@@获得非常好的能耗比与@@性价比@@,还能够以@@极具优势的@@TCO满足云@@厂商大多数@@AI服务的需求@@@@。同时@@CPU的通用计算能力@@也可以@@为@@云@@厂商提供充足的灵活性@@,有效保护基础设施投资@@。
面对上述需求@@@@,英特尔@@作为@@服务器@@CPU领域的技术领导者@@,继年@@初发布第四代至强@@@@® 可扩展处理器@@之后@@,加快了产品更新节奏@@,于上周发布了第五代@@至强@@@@@@@@® 可扩展处理器@@,其可与@@上一代处理器兼容@@,提供硬件级@@安全和@@可信服务@@,并通过丰富的@@AI产品组合驾驭整个@@@@AI管线@@,从而@@进一步壮大了应对人工智能时代的产品组合@@。
技术创新解决三大维度需求@@@@,CPU 继续扮演@@ AI 时代基础设施关键角色@@
相比上一代产品@@,第五代@@至强@@@@@@® 可扩展处理器@@的核心数量增加至@@64个@@,拥有更高的单核性能和@@内存带宽@@,三级@@缓存容量提升近@@3倍@@。其每个@@内核都具备@@AI加速功能@@,内置的英特尔@@@@® AVX-512及英特尔@@@@® AMX,能使@@机器学习@@、深度学习和@@大模型应用@@的性能大幅提升@@。第五代@@至强@@@@@@® 可扩展处理器@@还能通过英特尔@@@@® SGX/TDX为@@使@@用中@@的云@@端数据@@提供端到端硬件级@@防护能力@@@@。与@@上一代至强@@@@® 可扩展处理器@@相比@@,五代至强@@@@® 在@@相同功耗下的平均性能提升了@@21%,而@@AI推理和@@训练性能的提升更是高达@@42%和@@29%。
一系列技术创新@@,使@@第五代@@至强@@@@@@@@® 可扩展处理器@@成为@@@@AI时代云@@厂商的基础设施关键角色@@。目前@@,已经有多家客户@@在@@实际业务中@@部署了第五代@@至强@@@@@@@@® 可扩展处理器@@,在@@实践中@@证明了它为@@用户带来的巨大收益提升@@。其优异的表现得到了客户@@的很高评价@@,也让更多@@准备升级@@云@@计算基础设施的企业对新一代至强@@@@® 有了更高的期待@@。
英特尔@@ AMX提升大模型推理性能@@,助力京东升级@@营销购物体验@@
2023 年@@京东云@@突破性地在@@数百个@@@@AI场景中@@应用@@了大模型@@,在@@数百个@@营销场景中@@升级@@了原有工作流@@,显著提升了商家与@@消费者的购物体验@@。
基于自研的言犀@@AI与@@大模型@@,京东云@@通过@@AIGC管道生成了@@30%的大促物料@@,京小智数字人@@、领航者营销平台@@也在@@大模型支持@@下获得了高达@@87%的商品推荐采纳率@@,消费者应答准确率提升@@30%。
京东大模型第@@ 一次@@亮相就收获完美成绩@@,很大程度上要归功于其部署的基于第五代@@英特尔@@@@@@® 至强@@® 可扩展处理器@@的新一代自研服务器@@,与@@上一代自研服务器相比整机性能提升@@23%,关键的@@AI CV推理性能与@@@@ Llama v2大模型推理性能更是分别提升@@38%与@@51%。
取得如此显著的@@AI推理能力@@进步@@,秘诀在@@于第五代@@至强@@@@@@@@® 可扩展处理器@@搭载的英特尔@@@@® AMX加速引擎@@。其可以@@将@@INT8低精度矩阵运算速度提升一个@@数量级@@@@,再结合第五代@@至强@@@@@@@@® 可扩展处理器@@更高的内存带宽与@@更强的多核心互联能力@@@@,使@@AI推理性能相较上一代显著提升@@。在@@11.11大促中@@@@,第五代@@至强@@@@@@® 可扩展处理器@@和@@英特尔@@@@® AMX的组合在@@京东云@@承载的@@ AI 推理应用@@服务中@@大展身手@@,助力用户访问峰值同比提升@@170%,智能客服咨询@@服务量超@@14亿@@次@@@@,且并未增加能耗@@,也将京东云@@基础设施的运维成本维护在@@之前的水平内@@。
英特尔@@® TDX赋能@@可信计算环境@@,为@@阿里@@云@@客户@@构筑端到端数据@@安全城墙@@
对于云@@计算厂商而@@言@@,要让更多@@行业和@@组织信任云@@服务@@,就必须提供有足够说服力的安全隐私保障@@,所以@@云@@厂商迫切需要更高水准的硬件级@@安全城墙@@。
对于云@@环境中@@使@@用状态中@@的数据@@@@,机密计算是实现其有效保护的良策@@,其为@@客户@@敏感数据@@提供了基于硬件设备的可信执行环境@@(Trusted Execution Environment, TEE),通过隔离保护的方式来防止未经授权的入侵者访问或修改处理中@@的数据@@@@。作为@@机密计算技术的重要引领者@@,英特尔@@® 软件防护扩展@@(英特尔@@® SGX)技术提供了应用@@层面的隔离能力@@@@;而@@在@@和@@阿里@@云@@的合作中@@@@,则由英特尔@@@@® TDX技术与@@阿里@@云@@新实例@@搭载的可信平台@@模块@@(TPM)相配合@@,结合阿里@@云@@自研的加密计算隔离环境@@enclave,为@@阿里@@云@@第八代企业级@@@@@@ECS实例@@g8i构建了一个@@基于虚拟化的硬件可信环境@@,即为@@整个@@虚拟化实例@@@@(包括虚拟机@@、容器@@)都构建出可信的边界@@,由此@@为@@客户@@提供了可信边界更大@@、更易部署的安全云@@环境@@。
英特尔@@® TDX使@@TEE环境的可信边界获得了有效扩展@@,从而@@让@@IaaS、PaaS等环境中@@的云@@工作负载都能整体纳入机密计算的数据@@保护之下@@,能够有效抵御恶意威胁@@,加强云@@端数据@@隔离@@。
阿里@@云@@自研的千问大模型就得到了英特尔@@@@® TDX的充分保护@@,实现模型数据@@端到端加密保护@@。英特尔@@® TDX技术为@@@@AI大模型这样需要向云@@端传输大量数据@@的应用@@场景铸就了足够牢固的安全保障@@,也为@@生成式@@@@AI应用@@广泛普及铺平了信任道路@@。此外@@,在@@引入第五代@@至强@@@@@@@@® 可扩展处理器@@之后@@,第八代企业级@@@@ECS实例@@在@@计算@@、网络@@、存储@@、安全等工作负载中@@的都得到了显著提升@@,在@@数据@@库@@、硬件加解密@@、AI应用@@、音视频等场景性能提升@@15%~25%不等@@。更重要的是@@,八代实例@@保持价格不变@@,使@@阿里@@云@@@@g8i实例@@可以@@用更小的性能开销保障用户的数据@@高度安全性@@。
第五代@@至强@@® 可扩展至强@@算力大升级@@@@,支持@@火山引擎@@实现降本增效目标@@
火山引擎@@的大规模云@@原生基础设施包含超过一百万台服务器@@、上千万容器@@实例@@@@,管理数十@@EB级@@别存储@@资源@@,需要应对@@10 亿@@+级@@QPS缓存峰值@@、10+TB/s的读写峰值带宽@@,支持@@数亿@@日活的应用@@访问@@。
为@@了应对如此复杂的需求@@@@,火山引擎@@一直都选择和@@信赖英特尔@@@@® 至强@@® 解决方案@@,并率先引入第五代@@至强@@@@@@@@® 可扩展处理器@@,助其第三代弹性计算实例@@加码全新升级@@@@。
与@@基于第四代至强@@@@® 的弹性计算实例@@相比@@,第五代@@至强@@@@@@® 可扩展处理器@@助力火山引擎@@释放了巨大算力和@@性能红利@@,其弹性计算实例@@整机算力提升@@39%,内存带宽提升@@17%,并在@@@@AI、视频处理性能@@、Java应用@@性能等方面均有@@40%左右的性能提升@@。火山引擎@@计划推出使@@用英特尔@@@@原生硬件加速技术的能力@@升级@@@@,以@@Nginx为@@例@@,使@@用英特尔@@@@® QAT进行数据@@压缩和@@证书验证操作的吞吐量最@@ 高可提升@@5倍@@;在@@RocksDB中@@,使@@用英特尔@@@@® IAA进行数据@@压缩读写的吞吐量最@@ 高可提升@@1.9倍@@。提升如此巨大的算力进化幅度@@,使@@火山引擎@@能够使@@用相同的实例@@数量应对更多@@业务需求@@@@。
如今@@,火山引擎@@正在@@构建百万核心级@@别弹性资源池@@,为@@业务的流量增长@@、体验创新与@@安全性增强提供海量算力保障@@。
第五代@@至强@@@@@@® 可扩展处理器@@提供澎湃的算力的同时@@@@,还与@@上一代处理器兼容@@,共享架构与@@平台@@@@,大大减少测试和@@验证工作@@,其更高的性能@@、更好的安全性@@、更高的成本效益@@,已经在@@头部@@云@@服务提供商中@@得到全面验证@@。
软硬结合@@,打通@@AI创新底层瓶颈@@
除硬件方面的诸多创新@@,第五代@@至强@@@@@@® 可扩展处理器@@在@@软件层面也搭建了良好的生态环境@@。例如@@,英特尔@@已经在@@@@Pytorch、Tensorflow和@@OpenVINO™ 工具套件等行业标准框架中@@提供了针对第五代@@至强@@@@@@@@® 可扩展处理器@@的优化@@,使@@得云@@厂商和@@用户能够以@@较低的门槛@@,快速利用如英特尔@@@@® AMX等处理器功能@@,打通@@AI应用@@的算力瓶颈@@。英特尔@@® Trust Authority鉴证服务则能充分验证@@TEE的有效性@@,发挥英特尔@@@@® SGX/TDX技术的优势@@。
如果说数据@@中@@心是一台巨型计算机@@,那么@@CPU就是它的超级@@大脑@@,第五代@@英特尔@@@@® 至强@@® 可扩展处理器@@将一如既往地扮演核心角色@@。它与@@网络@@@@、GPU、软件技术栈等其他英特尔@@创新技术一起共同构筑了上层@@AI应用@@的根基@@。而@@这样的根基虽然能力@@强大@@,但并不需要用户为@@此投入大量精力学习或增加运维投入@@。由此@@,企业就能将主要精力投入在@@业务创新中@@@@,并在@@@@ AI 浪潮中@@紧紧把握住市场机遇@@,开启新的增长路径@@。
