aggame官网

AGGAME·(中国区)集团官方网站

中文

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

登录

AGGAME·(中国区)集团官方网站

产品

< 返回主菜单

产品

解决计划

< 返回主菜单

解决计划中心

行业

服务支持

相助同伴

关于aggame官网

投资者关系

返回主菜单

选择区域/语言

AGGAME·(中国区)集团官方网站

首页
手艺博文
全场景
手艺盛宴 | 浅谈LLM推理性能的影响因子——HBD Size

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

手艺盛宴 | 浅谈LLM推理性能的影响因子——HBD Size

作为GenAl时代的全栈服务专家，，，，，，，aggame官网网络致力于为企业提供笼罩laaS到PaaS的全栈产品及解决计划。。。。。。

#全场景

宣布时间：2024-05-31
点击量：
点赞：

分享至

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

我想谈论

随着LLM（大语言模子）手艺的飞速生长，，，，，，，市面上泛起越来越多的AGI应用，，，，，，，对话式机械人作为最普遍的应用已经深入普罗公共的事情和学习中。。。。。。最显著的改变就是从搜索引擎盘问问题，，，，，，，转变为翻开多款对话式机械人的APP举行盘问，，，，，，，然后再综合多个解答举行自己的判断。。。。。。

那么，，，，，，，“对话式机械人”这类应用是怎样凭证用户的输入，，，，，，，来举行有逻辑的高质量内容输出的呢？？？？？？？？其实质是：先通过大宗的“训练”使命使其具备能够明确用户语言、逻辑和头脑的能力，，，，，，，再通过用户给出的输入举行“推理”运算，，，，，，，进而输出对应的内容与用户举行高质量互动。。。。。。

一、训练与推理的关系

LLM（大型语言模子）的训练和推理是模子生命周期中的两个要害阶段，，，，，，，我们可以类比成理论学习和应用实践的团结。。。。。。

1.训练阶段（学习阶段）：

该阶段是模子构建的基础，，，，，，，决议了模子的质量和应用效果。。。。。。

1）在训练阶段，，，，，，，LLM通过大宗的文本数据学习语言的模式、语法、语义和上下文信息。。。。。。

2）使用深度学习手艺，，，，，，，如神经网络，，，，，，，模子在训练历程中一直优化其参数，，，，，，，以提高对文本数据的建模能力。。。。。。

2.推理阶段（应用阶段）：

该阶段不涉及参数更新，，，，，，，将训练学到的知识应用到现实问题上。。。。。。

1）推理阶段是指使用训练好的模子对新的输入数据举行处置惩罚，，，，，，，以天生输出或做出决议的历程。。。。。。

2）在推理历程中，，，，，，，模子会吸收新的文本输入，，，，，，，展望或天生文本，，，，，，，执行翻译，，，，，，，或者完成其他特定的NLP使命。。。。。。

3.差别性：

1）目的：训练和推理都旨在实现模子的最佳性能，，，，，，，但训练着重于学习，，，，，，，推理着重于应用。。。。。。

2）可用性：训练阶段的效果会直接影响推理阶段效果的可用性。。。。。。

3）资源消耗：训练通常需要大宗的盘算资源和数据，，，，，，，而推理则更注重实时性、本钱和可扩展性。。。。。。

4）一连学习：推理阶段的反响可以用于刷新模子，，，，，，，通过一连学习或增量学习的方法，，，，，，，使模子顺应新的数据和场景。。。。。。

二、推理的历程

主流 LLM 基本都是 Decoder Only 的 Transformer 模子，，，，，，，推理历程可以分为两个阶段：

Transformer 模子结构图

Transformer 模子结构图

1.“预填充（Prefill）”阶段：

Prefill阶段是模子凭证用户输入的Tokens通过一次前向撒播来天生第一个输出 Token。。。。。。在前向撒播历程中，，，，，，，输入的Tokens之间以并行方法执行运算，，，，，，，以是具备较量高的执行效率。。。。。。

2.“解码（Decoding）”阶段：

在Prefill阶段天生第一个 Token（A）之后最先进入Decoding阶段。。。。。。在Decoding阶段中，，，，，，，解码器会以自回归的方法逐个天生输出序列的词元。。。。。。在每一步，，，，，，，它基于已天生的词元和之前的状态来展望下一个词元，，，，，，，直到天生一个特殊的 Stop Token（或者知足用户设置的某个限制条件，，，，，，，好比凌驾一定的长度）天生历程就会阻止。。。。。。Decoding阶段需要执行多次前向撒播，，，，，，，并且只能以串行的方法执行，，，，，，，因此效率相对较量低。。。。。。

两个阶段对算力芯片的要求也差别，，，，，，，Prefill阶段为盘算麋集型，，，，，，，适合选用高算力 GPU；；；；；；；Decoding阶段为访存麋集型，，，，，，，响应的可以使用算力不是特殊强而访存带宽较量大的 GPU。。。。。。

三、推理的评估指标

针对 LLM 推理服务通常有两种挪用模式，，，，，，，如下表所述：

针对 LLM 推理服务通常有两种挪用模式

类似ChatGPT 一样的 Streaming 方法，，，，，，，现在应用较量普遍，，，，，，，主要由于可以给用户带来更好的交互体验，，，，，，，不需要长时间期待即可获得系统反响，，，，，，，因此本文以Streaming模式下的评估指标来举行剖析。。。。。。

1.首个词元天生时间（Time To First Token，，，，，，，简称TTFT）：

在用户输入盘问的内容后，，，，，，，模子天生第一个输出token所需要的时间。。。。。。

2.单个输出词元的天生时间（Time Per Output Token，，，，，，，简称TPOT）：

推理系统凭证用户请求天生后续词元所需要的平均时间。。。。。。在人机实时交互的历程中，，，，，，，让用户获得快速的响应至关主要，，，，，，，延时较高会让客户陷入较长的期待时间，，，，，，，大大影响交互体验，，，，，，，但只要天生速率大于人类的阅读速率就能获得很好的用户体验。。。。。。

3.Decoding吞吐：

通常用来权衡推理服务器在decoding阶段的输出效率，，，，，，，即decoding阶段的所有Token数目除以该阶段所需要的耗时。。。。。。

4.单卡吞吐：

通常用来权衡推理服务器完本钱次推理使命的输出效率，，，，，，，即在Prefill阶段以及decoding阶段总共天生的Token数目除以整个推理使命所需要的耗时。。。。。。

四、推理性能的影响因素

影响LLM推理性能的因子有许多，，，，，，，本文重点剖析差别HBD Size域在差别集群规模以及差别盘算精度下对推理性能的影响。。。。。。

1.盘算精度：

指浮点数（Floating Point Numbers）的差别精度，，，，，，，好比FP16、FP8、FP4。。。。。。

2.实例规模：

完本钱次推理使命所需要的GPU卡数目。。。。。。

3.HBD （High Bandwidth Domain）Size：

一个推理实例内，，，，，，，通过自力的高速通道形玉成联接的GPU卡的数目。。。。。。（跨服务器通过交流柜互联也算统一个HBD）

我们基于理论建模的和仿真算法，，，，，，，通过控制变量的对例如式，，，，，，，在包管简单因子转变的条件下去剖析盘算精度、集群规模以及HBD Size对推理性能的影响。。。。。。

测试模子接纳B200算力卡举行模拟仿真，，，，，，，基于QWen 110B的基础上扩展16个MoE专家，，，，，，，Batch Size为16，，，，，，，Token输入序列为32K，，，，，，，同时假设HBD内通过1.8TB/s的双向带宽互联。。。。。。

HBD （High Bandwidth Domain）Size

如上图数据所示，，，，，，，发明以下征象：

64张B200的GPU卡规模下，，，，，，，组成该推理实例时。。。。。。在上述模子推理中，，，，，，，HBD Size从8提升至64，，，，，，，TTFT最大下降46%，，，，，，，单卡吞吐最大提升41%。。。。。。

因此可以得出结论：HBD Size对推理性能有正面作用，，，，，，，即高速互联的GPU卡数目越多，，，，，，，推理性能越强。。。。。。

HBD （High Bandwidth Domain）Size

如上图数据所示，，，，，，，发明以下征象：

128张B200卡的GPU规模组成推理实例时，，，，，，，在上述模子推理中，，，，，，，HBD Size从8提升至128，，，，，，，TTFT最大下降57%，，，，，，，单卡吞吐最大提升59%；；；；；；；同样证实HBD Size的提升对推理性能有正面作用。。。。。。

比照上述两份数据，，，，，，，发明以下征象：

从64卡扩展到128卡规模时，，，，，，，TTFT指标从下降46%转变为下降57%，，，，，，，收益更显着；；；；；；；再如单卡吞吐从提升41%转变为提升59%，，，，，，，收益更显着。。。。。。

因此可以得出结论：当接纳更大规模GPU卡时，，，，，，，HBD Size扩增时性能收益提升趋于显着。。。。。。

HBD （High Bandwidth Domain）Size

从上述表格数据中，，，，，，，我们发明以下征象：

同为128卡规模下，，，，，，，FP16精度下随着HBD Size提升，，，，，，，Prefill与Decoding阶段的通讯时间占比逐步下降，，，，，，，这种征象在FP8和FP4精度下也同样保存。。。。。。

当接纳更低盘算精度时，，，，，，，FP16精度下从8卡提升到128卡，，，，，，，单卡吞吐提升倍率为1.36；；；；；；；而在FP4精度下从8卡提升到128卡，，，，，，，单卡的吞吐提升倍率为1.63。。。。。。

因此可以得出结论：在更低的盘算精度下，，，，，，，HBD Size扩增时性能收益提升趋于显着。。。。。。

五、结论

1、在相同集群规模和同样的盘算精度下，，，，，，，随着HBD Size的提升，，，，，，，推理性能也随之提升。。。。。。详细体现为TTFT降低，，，，，，，Decoding吞吐及单卡吞吐提升。。。。。。

2、在相同盘算精度下，，，，，，，集群规模越大，，，，，，，HBD Size的提升收益愈发明显。。。。。。详细体现为TTFT降低幅度更大，，，，，，，Decoding吞吐及单卡吞吐提升幅度更大。。。。。。

3、在相同集群规模下，，，，，，，盘算精度越低，，，，，，，HBD Size的提升收益愈发明显。。。。。。详细体现为Prefill与Decoding阶段的通讯时间占比逐步下降幅度越慢，，，，，，，单卡吞吐提升倍率幅度越大。。。。。。

aggame官网网络，，，，，，，作为GenAI时代的全栈服务专家，，，，，，，致力于为企业提供笼罩IaaS到PaaS的全栈产品及解决计划。。。。。。aggame官网产品笼罩高性能网络与GPU算力优化调理，，，，，，，旨在通过立异手艺解决计划，，，，，，，资助客户实现生产效率的奔腾与运营本钱的优化。。。。。。我们坚信，，，，，，，通过aggame官网起劲，，，，，，，能够为客户打造一个越发智能、高效和可靠的未来。。。。。。让我们携手，，，，，，，配合探索GenAI时代的每一个机缘。。。。。。

相关标签：

#全场景

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

点赞

<< 智能接入网关是什么意思?它有什么用?

什么是外地网关？？？？？？？？ >>

客户谈论

暂无谈论

我要谈论

您的姓名

您的手机号*

您的邮箱

公司名称

您的谈论*

我已仔细阅读并赞成隐私声明

验证码*

提交谈论

更多手艺博文

任何需要，，，，，，，请联系aggame官网

与售前照料攀谈

填写项目需求表单

售前咨询
售后服务
意见反响

AGGAME·(中国区)集团官方网站

返回顶部

收起

文档AI助手

文档评价

该资料是否解决了您的问题？？？？？？？？

您对目今页面的知足度怎样？？？？？？？？

不咋滴

很是好

您知足的缘故原由是（多选�。。。。。�？？？？？？？？

您对文档是否尚有其它的问题或建议？？？？？？？？

为尽快解决问题，，，，，，，请您留下联系方法以便回复

邮箱

手机号

谢谢您的反响�。。。。。�

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

AGGAME·(中国区)集团官方网站

请选择服务项目

售前咨询

售后服务

意见反响

更多联系方法

【网站地图】【sitemap】