論文の概要: DLite: History-free Speculative Decoding for Agentic AI

• arxiv url: http://arxiv.org/abs/2610.23787v1
• Date: Fri, 16 Oct 2026 17:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.034269
• Title: DLite: History-free Speculative Decoding for Agentic AI
• Title（参考訳）: DLite:エージェントAIのための履歴のない投機的デコーディング
• Abstract要約: エージェントAIのための履歴のない投機的デコーディングフレームワークであるDLiteを紹介する。 DLiteは、ターゲットモデルからコンテキスト隠された状態を再利用し、履歴コンテキストを明示的に保持することなく、局所的な投機予測を行う。 汎用的、長期的、エージェント的なワークロードの実験では、DLite 2-6は受け入れ長を達成し、最先端の投機的復号法であるDSparkを最大70%上回っている。
• 参考スコア（独自算出の注目度）: 12.35626360399916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding has become a mainstream technique for accelerating large language model (LLM) inference by using a lightweight draft model to generate candidate tokens that are subsequently verified by the target model. However, agentic workloads introduce long and continuously evolving contexts and frequent multi-turn interactions. Under such workloads, we observe that existing draft models suffer from up to an 80% degradation in acceptance length, while maintaining their historical KV cache introduces substantial system overhead. In this paper, we identify the growing historical context as a common source of both problems and introduce DLite, a history-free speculative decoding framework for agentic AI. DLite directly reuses contextual hidden states from the target model and performs local speculative prediction without explicitly maintaining the historical context, transforming an increasingly complex modeling problem into local simple prediction problem. A lightweight sequential head further restores intra-block causal dependencies with low overhead. To effectively train this heterogeneous history-free architecture, we introduce a tailored two-stage training strategy. Experiments on general-purpose, long-context and agentic workloads show that DLite achieves 2-6 acceptance length and outperforms the state-of-the-art speculative decoding method, DSpark, up to 70%.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフトモデルを用いて、ターゲットモデルによって検証された候補トークンを生成することにより、大規模言語モデル(LLM)推論を加速するための主流技術となっている。 しかし、エージェント的ワークロードは、長期かつ継続的に進化するコンテキストと頻繁なマルチターンインタラクションを導入します。 このようなワークロード下では、既存のドラフトモデルが、その履歴的なKVキャッシュを維持しながら、受け入れ期間の最大80%の劣化に悩まされているのを観察する。 本稿では,歴史的文脈の増大を両問題の共通情報源として認識し,エージェントAIのための歴史のない投機的復号化フレームワークであるDLiteを紹介する。 DLiteは、ターゲットモデルからコンテキスト隠れ状態を直接再利用し、履歴コンテキストを明示的に保持することなく局所投機予測を行い、ますます複雑なモデリング問題を局所単純予測問題に変換する。 軽量シーケンシャルヘッドは、低オーバーヘッドでブロック内因果依存性を復元する。 この異質な履歴のないアーキテクチャを効果的に訓練するために、我々は2段階のトレーニング戦略を調整した。 汎用的、長期的、エージェント的なワークロードの実験では、DLiteは2-6の受け入れ長を実現し、最先端の投機的復号法であるDSparkを最大70%上回っている。

関連論文リスト

• Decoupled Reasoning with Implicit Fact Tokens (DRIFT): A Dual-Model Framework for Efficient Long-Context Inference [45.760483245296456]
  DRIFTは、推論プロセスから知識抽出を明示的に分離するために設計された、新しいデュアルモデルアーキテクチャである。 静的プロンプト圧縮とは異なり、DRIFTは軽量な知識モデルを用いて文書チャンクを動的に圧縮し、クエリで条件付けられた暗黙の事実トークンに変換する。 我々のアプローチは、大規模言語モデルの効果的なコンテキストウィンドウと推論能力を拡張するためのスケーラブルで効率的なパラダイムを提供します。
  論文  参考訳（メタデータ） (2026-02-10T17:42:31Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Shifting AI Efficiency From Model-Centric to Data-Centric Compression [67.45087283924732]
  AI研究の焦点は、モデル中心の圧縮からデータ中心の圧縮へとシフトしている、と私たちは主張する。 データ中心圧縮は、モデルトレーニングや推論中に処理されたデータのボリュームを直接圧縮することで、AI効率を向上させる。 我々の研究は、AIの効率性に関する新たな視点を提供し、既存の取り組みを合成し、コンテキスト長の増大によって引き起こされる課題に対処するためにイノベーションを触媒することを目的としています。
  論文  参考訳（メタデータ） (2025-05-25T13:51:17Z)
• Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs [11.245862832561176]
  投機的復号化による推論アクセラレーションを実現するためには、高品質なドラフトモデルをトレーニングする必要がある。 我々は、Llama 2 Chat Drafter 115M、Llama 2 Chat 7B以上のドラフトモデル、オリジナルサイズの1.64%しか持たないLlama 2 Chat Drafter 115Mを訓練する。 Llama 2 Chat Dr After 115M with speculative decoding は最大2.3ブロック効率と2.4$times$ speed-upを実現している。
  論文  参考訳（メタデータ） (2024-02-29T19:55:06Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。