論文の概要: FIRP: Faster LLM inference via future intermediate representation prediction

• arxiv url: http://arxiv.org/abs/2410.20488v1
• Date: Sun, 27 Oct 2024 15:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:35.175428
• Title: FIRP: Faster LLM inference via future intermediate representation prediction
• Title（参考訳）: FIRP:将来の中間表現予測による高速LLM推論
• Authors: Pengfei Wu, Jiahao Liu, Zhuocheng Gong, Qifan Wang, Jinpeng Li, Jingang Wang, Xunliang Cai, Dongyan Zhao,
• Abstract要約: FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
• 参考スコア（独自算出の注目度）: 54.897493351694195
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have shown remarkable performance across a wide range of tasks. Despite this, the auto-regressive nature of LLM decoding, which generates only a single token per forward propagation, fails to fully exploit the parallel computational power of GPUs, leading to considerable latency. To address this, we introduce a novel speculative decoding method named FIRP which generates multiple tokens instead of one at each decoding step. We achieve this by predicting the intermediate hidden states of future tokens (tokens have not been decoded yet) and then using these pseudo hidden states to decode future tokens, specifically, these pseudo hidden states are predicted with simple linear transformation in intermediate layers of LLMs. Once predicted, they participate in the computation of all the following layers, thereby assimilating richer semantic information. As the layers go deeper, the semantic gap between pseudo and real hidden states is narrowed and it becomes feasible to decode future tokens with high accuracy. To validate the effectiveness of FIRP, we conduct extensive experiments, showing a speedup ratio of 1.9x-3x in several models and datasets, analytical experiments also prove our motivations.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、幅広いタスクで顕著なパフォーマンスを示している。 それにもかかわらず、LLMデコーディングの自己回帰的な性質は、前方伝播毎に1トークンしか生成しないため、GPUの並列計算能力を完全に活用できず、かなりの遅延が発生する。 そこで本研究では、FIRPと呼ばれる新しい投機的復号法を導入し、復号ステップ毎に複数のトークンを生成する。 我々は、将来のトークンの中間隠れ状態(トークンはまだ復号されていない)を予測し、これらの擬似隠蔽状態を使用して将来のトークンを復号し、具体的には、これらの擬似隠蔽状態はLSMの中間層における単純な線形変換によって予測される。 予測されると、次のすべてのレイヤの計算に参加し、それによってよりリッチなセマンティック情報を同化する。 層が深くなるにつれて、擬似状態と実際の隠れ状態のセマンティックギャップが狭まり、将来的なトークンを高い精度で復号化することが可能になる。 FIRPの有効性を検証するため、いくつかのモデルやデータセットにおいて1.9x-3xのスピードアップ比を示す広範囲な実験を行い、分析実験もまた我々のモチベーションを証明した。

関連論文リスト

• Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference [59.91176945361035]
  高速推論のためにMLLMを高速化するプラグイン・アンド・プレイモジュールであるVisual Tokens Withdrawal (VTW)を紹介した。 私たちのアプローチは、私たちが観察した2つの興味深い現象にインスピレーションを受けています。 我々のVTWアプローチは、性能を維持しながら、様々なマルチモーダルタスクで計算オーバーヘッドを40%以上削減できる。
  論文  参考訳（メタデータ） (2024-05-09T14:38:53Z)
• Beyond the Speculative Game: A Survey of Speculative Execution in Large Language Models [9.121458241884444]
  投機的実行は、textitdraft-then-verifyスタイルでLLMデコードに導入される。 コストのかかる推論を並列化することにより、復号速度を大幅に向上させることができる。 LLMにおける投機的実行の文献をレビューし、統一する最初の調査論文を提示する。
  論文  参考訳（メタデータ） (2024-04-23T10:25:45Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
  本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。 パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。 モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
  論文  参考訳（メタデータ） (2023-10-18T16:07:01Z)
• Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models [54.72004797421481]
  コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。 以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。 その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T06:27:33Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。