論文の概要: SpecCompact: Accelerating LLM Agent Context Compaction with Slot-Parallel Semantic Speculative Verification
- arxiv url: http://arxiv.org/abs/2611.06876v1
- Date: Wed, 04 Nov 2026 18:34:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.234144
- Title: SpecCompact: Accelerating LLM Agent Context Compaction with Slot-Parallel Semantic Speculative Verification
- Title（参考訳）: SpecCompact: Slot-Parallel Semantic Speculative VerificationによるLDMエージェントコンテキスト圧縮の高速化
- Abstract要約: LLMエージェントは、相互作用履歴の増大を管理するためにコンテキスト圧縮を使用するが、大きなモデルで長い履歴を要約すると、かなりの遅延が発生する可能性がある。
スロット並列セマンティックな憶測を通じてコンパクト化を促進するフレームワークであるSpecCompactを提案する。
AppWorldと2つのターゲットモデルによる3ドルのベンチマークで、SpecCompactはHermesスタイルの要約よりも2.04$-5.63times$コンパクト化スピードアップを達成した。
- 参考スコア（独自算出の注目度）: 0.791222485282554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents use context compaction to manage growing interaction histories, but summarizing long histories with large models can introduce substantial delays. Compaction therefore requires balancing information retention against latency. We observe that structured summary slots can retain information when generated independently. Based on this observation, we present SpecCompact, a framework that accelerates compaction through slot-parallel semantic speculation. SpecCompact fine-tunes a small drafter and generates slots in parallel. The target model verifies each proposed line and repairs rejected content, while subsequent drafting uses the updated slot prefix. System optimizations further reduce repeated context processing and model calls. Across AppWorld and $τ^3$ benchmarks with two target models, SpecCompact achieves $2.04$--$5.63\times$ compaction speedups over Hermes-style summarization. Separate downstream evaluations reveal model- and task-dependent performance trade-offs. A user study within Hermes further shows an $8.68\times$ median compaction speedup.
- Abstract（参考訳）: LLMエージェントは、相互作用履歴の増大を管理するためにコンテキスト圧縮を使用するが、大きなモデルで長い履歴を要約すると、かなりの遅延が発生する可能性がある。
そのため圧縮には、情報の保持とレイテンシのバランスが必要である。
我々は、構造化された要約スロットが独立して情報を保持することができることを観察する。
そこで本研究では,スロット並列セマンティック投機によりコンパクト化を促進するフレームワークSpecCompactを提案する。
SpecCompactは小さなドラフトを微調整し、並列にスロットを生成する。
対象モデルは提案した各行を検証し、削除された内容を修復し、その後に更新されたスロットプレフィックスを使用する。
システムの最適化により、繰り返しのコンテキスト処理とモデル呼び出しが削減される。
AppWorldと2つのターゲットモデルを持つ$τ^3$ベンチマークで、SpecCompactはHermesスタイルの要約よりも2.04$--5.63\times$圧縮スピードアップを達成した。
下流の評価を分離すると、モデルとタスクに依存したパフォーマンスのトレードオフが明らかになる。
Hermes内のユーザ調査では、中央値の圧縮スピードアップが8.68\times$であることも示されている。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳（メタデータ） (2026-11-02T04:21:47Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳（メタデータ） (2026-10-06T16:35:28Z) - ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference [27.500701363213253]
本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークを提案する。
ASPIREは自動回帰ベースラインよりも1.70$-4.58times$スピードアップを達成している。
最強の自己投機ベースラインよりも平均的なスピードアップを約27%向上させる。
論文 参考訳（メタデータ） (2026-09-16T00:04:13Z) - Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding [8.297861366384156]
Hybrid Verified Decodingは、検証前にキャッシュドラフトが受け入れられた長さを予測する。
分析の結果,キャッシュの素早い生成方法,高利得キャッシュのドラフトがドラフトスペースのごく一部に集中する方法,およびペイオフ誘導選択がドラフト選択の逐次的削除を減らしたことを示す。
論文 参考訳（メタデータ） (2026-05-31T05:22:40Z) - Parallel Context Compaction for Long-Horizon LLM Agent Serving [6.751507343395701]
長距離エージェントフローに対するtextbfparallel のコンパクト化を提案する。
並列コンパクト化は、演算子を細粒度で予測可能な、要約ボリュームの制御を与える。
エンドツーエンドの壁時間を短縮し、シーケンシャルベースライン上での圧縮スループットを向上させる。
論文 参考訳（メタデータ） (2026-05-22T07:12:38Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。
modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
論文 参考訳（メタデータ） (2026-03-05T03:16:16Z) - Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference [11.957170239588535]
投機的復号化は、ドラフトモデルを使用して推測を加速する。
事前の方法は、ドラフトコストを部分的に削減するが、受け入れを低下させるか、スケーリングを制限するオーバーヘッドを導入する。
本稿では,遅延受容トレードオフを破る推論アルゴリズムであるMirror Speculative Decoding(Mirror-SD)を提案する。
論文 参考訳（メタデータ） (2025-10-15T05:22:57Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳（メタデータ） (2025-08-17T20:16:44Z) - Speeding up Speculative Decoding via Sequential Approximate Verification [7.754712828900729]
投機的復号法 (SD) はLarge Language Models (LLM) を用いた高速推論手法である。
本稿では,SPRINTERを提案する。SPRINTERは,LLMから生成されたトークンが目標のLLMに受け入れられるかどうかを予測するために訓練された,低複雑さの検証器である。
逐次近似検証を行うことで、SPRINTERは目標のLSMによる検証を必要とせず、トークンが受け入れられないと判断された場合にのみ呼び出される。
論文 参考訳（メタデータ） (2025-02-06T23:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。