論文の概要: FlexEE: Self-Speculative and KV-Compatible Early Exiting for Offloading-Aware LLM Inference

• arxiv url: http://arxiv.org/abs/2609.17008v1
• Date: Tue, 15 Sep 2026 11:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.471378
• Title: FlexEE: Self-Speculative and KV-Compatible Early Exiting for Offloading-Aware LLM Inference
• Title（参考訳）: FlexEE: オフロードを意識したLLM推論のための自己スペクティブとKV互換の早期実行
• Abstract要約: 大規模言語モデル(LLM)の推論は、計算とメモリの両方によって制約されることが多い。 リソース制約とオフロードに基づくLLM推論のための早期終了フレームワークであるFlexEEを紹介します。
• 参考スコア（独自算出の注目度）: 6.9575993729793595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) inference is often constrained by both computation and memory, especially in offloading-based deployments where model weights are transferred across memory hierarchies during autoregressive decoding. In this setting, reducing the number of executed layers can lower per-token latency while also avoiding costly weight movement. Motivated by this observation, we present FlexEE, an early exiting framework for resource-constrained and offloading-based LLM inference. FlexEE makes early exiting practical for LLM decoding through layer-wise exit supervision for reliable intermediate-layer prediction, self-speculative decoding over a Top-K local vocabulary for low-cost exit decisions, and dynamic hidden state management for KV-cache-correct and memory-aware execution. Across generative and downstream tasks, FlexEE enables efficient early exit with minimal accuracy degradation, delivering up to 1.27$\times$/3.16$\times$ and 1.25$\times$/2.83$\times$ end-to-end speedups on Llama2-7B and Llama3-8B under 0\%/50\% weight offloading, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論は、計算とメモリの両方、特に自動回帰復号中にメモリ階層間でモデルの重みが転送されるオフロードベースのデプロイメントにおいて、しばしば制約される。 この設定では、実行されたレイヤの数を減らすことで、トーケン毎のレイテンシを低減できると同時に、コストのかかる重み移動を回避することができる。 この観察によって動機づけられたFlexEEは、リソース制約とオフロードに基づくLLM推論のための早期終了フレームワークである。 FlexEEは、レイヤワイドエグジットの監督によるLCMデコーディングの早期終了を実践し、信頼性のある中間層予測、低コストのエグジット決定のためのTop-Kローカル語彙による自己投機的デコーディング、KV-cache-correctとメモリ対応実行のための動的隠れ状態管理を実現している。 生成タスクと下流タスク全体で、FlexEEは最小限の精度で効率的な早期終了を可能にする。最大1.27$\times$/3.16$\times$と1.25$\times$/2.83$\times$ エンドツーエンドのスピードアップをLlama2-7BとLlama3-8Bでそれぞれ0\%/50\%の重量オフロードで提供する。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• Experience-Driven Dynamic Exits for LLMs with Reinforcement Learning [16.19290569626178]
  LEDEは、ローカルコンテキストに基づいて最適な出口層と投機長を動的に選択するポリシーを学ぶ。 Llama-2 と Llama-3 の総合評価では、LEDE は自己回帰復号よりも$2.0times$$$$$2.7times$スピードアップを達成している。
  論文  参考訳（メタデータ） (2026-06-02T03:59:14Z)
• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• Fast Forward: Accelerating LLM Prefill with Predictive FFN Sparsity [5.223181756178433]
  我々は,大規模言語モデル (LLM) のプレフィルをブロックワイドでコンテキスト対応のFFNスパシティによって高速化する,予測可能なスパシティフレームワークであるFastForwardを紹介した。 FastForwardは最大1.45$times$計算バウンド・スピードアップを50%FFN間隔で提供し、LongBenchの高密度ベースラインに比べて6%の精度で損失する。
  論文  参考訳（メタデータ） (2026-01-30T23:23:40Z)
• SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning [3.502168555273189]
  SlimInferは、フォワードパス中にあまり重要でないプロンプトトークンを直接プルーニングすることで推論を加速することを目的としている。 SlimInferは最大$mathbf2.53times$ time-to-first-token(TTFT)スピードアップと$mathbf1.88times$ end-to-end latency reduction for LLaMA3.1-8B-Instructを実現する。
  論文  参考訳（メタデータ） (2025-08-08T16:42:38Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• BucketServe: Bucket-Based Dynamic Batching for Smart and Efficient LLM Inference Serving [3.620158146761518]
  BucketServeは、推論パフォーマンスを最適化するために設計されたバケットベースの動的フレームワークである。 UELLMと比較して1.93倍の要求負荷を達成でき、UELLMよりも1.975倍高いシステム負荷能力を示す。
  論文  参考訳（メタデータ） (2025-07-23T01:51:48Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• TrimLLM: Progressive Layer Dropping for Domain-Specific LLMs [11.615399679746675]
  ドメイン固有のユースケースにおけるローカルデプロイメントのための大規模言語モデル(LLM)の専門化は、強力なパフォーマンスを実現する上で必要である。 我々は,現代のLLMで経験的に観察し,検証した層ワイド特殊化現象に基づいてTrimLLMを開発した。 特定のドメインにおけるLLMの能力を維持し、ハードウェアやディープラーニングフレームワークに関係なく、推論スピードアップが達成できることを示す。
  論文  参考訳（メタデータ） (2024-12-15T16:47:16Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。