作业帮受邀出任稀土开发者大会架构专场出品人 并畅谈大模型推理技术实践茫无头绪

6月28日至29日，作业专场集行业前瞻性与实践性为一体的帮受稀土开发者大会在京成功举办。凭借对前沿科技的邀出持续探索与深入研究，作业帮应邀参会，任稀人并不仅重点参与了架构专题的土开建设，还针对行业热点的大会大模茫无头绪大模型技术做了重点分享。

作业帮线上业务中心负责人郑长帅受邀出任架构设计和业务稳定性建设出品人，架构践立足行业，出品畅谈郑长帅深入参与了本场会议架构议题的型推选材与建设，作业帮业务中台技术负责人熊定云与声网、理技小红书、术实海达数据库等技术负责人场景化的作业专场还原了头部科技企业在架构技术方面的实践经验。

稳定性是帮受系统架构治理的一个重要环节。每个业务都有各自领域的邀出特点和发展阶段，相应地也会遇到稳定性挑战和治理决策的任稀人并游人如织问题。作业帮的架构呈现多元化差异化、跨平台多角色强协同等特点，容量、功能、数据、容错容灾、高频活动的横眉竖眼保障便成为了作业帮架构治理的关键任务点。

在架构专场，熊定云从作业帮架构的整体思考出发，围绕作业帮的架构治理方案的设计思路、方法、效果进行了详细阐述，讲解途中穿插实际案例，深入浅出地还原作业帮架构治理的横行无忌实践之路。在分享最后，熊定云强调，对系统的稳定性要时刻保持敬畏之心，关注业务或系统中产生的新变量，持续迭代认知、坚持必要投入。

此外，自出心裁作为最早开始教育垂类大模型研发的企业，作业帮AI Infra架构师乔显杰还在大模型部署与推理专题分享了作业帮大模型推理加速的实践经验。前沿科技的探索离不开底层技术的持续开发，随着大模型的发展，参数量和计算量越来越大，这些年GPU的算力也在不断发展，英伟达每次数据中心产品更新的匪夷所思算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重点。

乔显杰提到，大模型推理优化的重点，是如何充分利用GPU算力资源。因此，避免充分冗余计算、减少非Gemm计算时间、插翅难飞最大化Gemm算力则成为大模型推理优化的关键步骤。乔显杰通过开源框架的选择、量化方式的探索等几个方面详细分享了作业帮大模型的推理实践。

稀土开发者大会是由稀土掘金技术社区主办，本届大会主题为“代码不止，掘金不停”，面向开发者社区的高枕无忧中坚力量，集结近百位国内外技术大咖，旨在帮助开发者拓宽技术视野，传播前沿的技术理念，打造一场业界标杆级的开发者技术盛宴。