論文の概要: HELIOS: Adaptive Model And Early-Exit Selection for Efficient LLM Inference Serving

• arxiv url: http://arxiv.org/abs/2504.10724v2
• Date: Fri, 31 Oct 2025 16:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:15.811203
• Title: HELIOS: Adaptive Model And Early-Exit Selection for Efficient LLM Inference Serving
• Title（参考訳）: HELIOS: 効率的なLLM推論のための適応モデルとアーリーエグゼクティブ選択
• Authors: Avinash Kumar, Shashank Nag, Jason Clemons, Lizy John, Poulami Das,
• Abstract要約: 初期段階の大規模言語モデル(EE-LLM)は、中間層でトークンを早期に終了させることで、高いスループットの推論を可能にする。 既存のEE-LLMフレームワークは単一のモデルに依存しているので、トークン生成レイテンシはボトルネックになる。 我々はトークン生成遅延とバッチサイズの両方を改善するフレームワークである$textitHELIOSを提案する。
• 参考スコア（独自算出の注目度）: 2.7433801927536074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early-Exit Large Language Models (EE-LLMs) enable high throughput inference by allowing tokens to exit early at intermediate layers. However, their throughput is limited by the computational and memory savings. Existing EE-LLM frameworks rely on a single model and therefore, their token generation latencies are bottlenecked by tokens that do not exit early and traverse additional layers. Moreover, early exits are only known at runtime and depend on the request. Therefore, these frameworks load the weights of all model layers even though large portions remain unused when tokens exit early. The lack of memory savings limit us from scaling the batch sizes. We propose $\textit{HELIOS}$, a framework that improves both token generation latency and batch sizes to enable high-throughput in EE-LLMs. HELIOS exploits two insights. $\textit{First}$, early exits are often complimentary across models, tokens that do not exit early on one model often take an early-exit on another. HELIOS employs multiple models and dynamically switches between them to collectively maximize the number of tokens that exit early, and minimize token generation latencies. $\textit{Second}$, even when a predicted token does not exit early due to poor confidence, it often remains unchanged even after additional layer traversal. HELIOS greedily allows such tokens to exit early and only loads the weights of the most likely to be used layers, yielding memory savings which is then re-purposed to increase batch sizes. HELIOS employs real-time profiling to accurately identify the early-exit distributions, and adaptively switches between models by tracking tokens in real-time to minimize the performance degradation caused by greedy model loading and exiting. Our evaluations show that HELIOS achieves $1.48\times$ higher throughput and $15.14\times$ larger batch size compared to existing EE-LLM frameworks.
• Abstract（参考訳）: 初期段階の大規模言語モデル(EE-LLM)は、中間層でトークンを早期に終了させることで、高いスループットの推論を可能にする。 しかし、スループットは計算とメモリの節約によって制限される。 既存のEE-LLMフレームワークは単一のモデルに依存しているので、トークン生成のレイテンシは早期に終了せず、追加のレイヤを横切るトークンによってボトルネックになる。 さらに、アーリーエグジットは実行時にのみ知られ、リクエストに依存します。 従ってこれらのフレームワークは、トークンが早期に終了しても、大部分は使われていないにもかかわらず、すべてのモデルレイヤの重みをロードする。 メモリ節約の欠如は、バッチサイズをスケールすることを制限する。 我々は,トークン生成遅延とバッチサイズの両方を改善し,EE-LLMの高スループットを実現するフレームワークである$\textit{HELIOS}$を提案する。 HELIOSは2つの洞察を利用する。 $\textit{First}$ アーリーエグジットはモデル間で補完的であり、あるモデルでアーリーエグジットしないトークンは、他のモデルでアーリーエグジットを行うことが多い。 HELIOSは複数のモデルを採用し、それらを動的に切り替えて、早期に終了するトークンの数を最大化し、トークン生成レイテンシを最小化する。 $\textit{Second}$ 予測トークンが信頼性の低いために早期に終了しない場合でも、追加レイヤのトラバース後にも変更されることが多い。 HELIOSは、そのようなトークンが早期に退避できるようにし、最も使用される可能性のあるレイヤの重みだけをロードすることで、メモリの節約を実現し、バッチサイズを増やすために再使用することができる。 HELIOSは、リアルタイムプロファイリングを使用して、初期出力の分布を正確に識別し、トークンをリアルタイムで追跡することで、グレディモデルのロードと終了によるパフォーマンス劣化を最小限に抑えることで、モデル間の適応的な切り替えを行う。 我々の評価によると、HELIOSは、既存のEE-LLMフレームワークと比較して、高いスループットで1.48\times$と15.14\times$のバッチサイズを実現している。

関連論文リスト

• ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor [5.097511974401423]
  ELIS (Large Language Models) は、ISRTF(Iterative Shortest Remaining Time First)スケジューラを備えた大規模言語モデル(LLM)のサービスシステムである。 ISRTFスケジューラは、最も短い時間で推論タスクを効率的に管理する。
  論文  参考訳（メタデータ） (2025-05-14T04:50:00Z)
• Priority-Aware Preemptive Scheduling for Mixed-Priority Workloads in MoE Inference [4.7730970530715835]
  大規模言語モデルは自然言語処理に革命をもたらしたが、データセンターで効率的に処理するのは難しい。 我々は、Mixture of Experts(MoE)モデル用に設計された新しい推論システムQLLMを紹介する。 QLLMはエキスパートレベルのプリエンプションを可能にし、LS Time-to-First-Token(TTFT)を最小化しながらBEジョブの実行を遅延させる。
  論文  参考訳（メタデータ） (2025-03-12T11:56:01Z)
• Smart Routing: Cost-Effective Multi-LLM Serving for Multi-Core AIOS [31.60019342381251]
  既存のスケジューリングフレームワークは主にレイテンシの最適化をターゲットとしている。 本稿では,マルチLLMサービスのための高効率能率協調スケジューリングフレームワークECCOSを提案する。
  論文  参考訳（メタデータ） (2025-02-27T22:35:31Z)
• MixLLM: Dynamic Routing in Mixed Large Language Models [57.309520357563215]
  大規模言語モデル(LLM)は、最近、人工知能の可能性を秘めている。 問合せ-LLM代入のための動的コンテキスト帯域ベースのルーティングシステムであるMixLLMを開発した。
  論文  参考訳（メタデータ） (2025-02-09T02:26:15Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• ALISE: Accelerating Large Language Model Serving with Speculative Scheduling [7.367068885621016]
  大規模言語モデル(LLM)は、現代の人工知能(AGI)の展望における革命的な進歩を表している。 本稿では, ALISE という新しい効率的な LLM 推論サービスフレームワークを提案する。 ALISEは,AlpacaデータセットとShareGPTデータセットと同じレイテンシ制約の下で,最大1.8xと2.1xの推論処理のスループットを向上することを示す。
  論文  参考訳（メタデータ） (2024-10-31T00:58:11Z)
• Fast Inference for Augmented Large Language Models [14.195265302357148]
  Augmented Large Language Models (LLM)は、APIコールを通じて外部データソースを統合することで、スタンドアロンのLLMの機能を強化する。 SJF(Shortest Job First)のような従来のサイズベースのスケジューリングアルゴリズムは、完了時間の最小化にはあまり効果がない。 拡張LLMのための新しいLLM推論フレームワークであるLAMPSを提案する。
  論文  参考訳（メタデータ） (2024-10-23T19:53:30Z)
• Don't Stop Me Now: Embedding Based Scheduling for LLMs [22.099820814682513]
  SRPT(Shortest Remaining Process Time)のようなサイズベースのスケジューリングアルゴリズムは、平均的な要求完了時間を削減することを目的としている。 LLMシステムにおけるメモリオーバーヘッドを考慮した予測型SRPT変種を提案する。
  論文  参考訳（メタデータ） (2024-10-01T19:51:07Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。