論文の概要: Parallel Context Compaction for Long-Horizon LLM Agent Serving
- arxiv url: http://arxiv.org/abs/2605.23296v1
- Date: Fri, 22 May 2026 07:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.233085
- Title: Parallel Context Compaction for Long-Horizon LLM Agent Serving
- Title（参考訳）: 長軸LLMエージェントの並列コンテクスト圧縮
- Abstract要約: 長距離エージェントフローに対するtextbfparallel のコンパクト化を提案する。
並列コンパクト化は、演算子を細粒度で予測可能な、要約ボリュームの制御を与える。
エンドツーエンドの壁時間を短縮し、シーケンシャルベースライン上での圧縮スループットを向上させる。
- 参考スコア（独自算出の注目度）: 6.751507343395701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon LLM agents accumulate growing conversation histories that eventually exceed the model's context window. Context compaction via LLM-based summarization keeps the conversation bounded, but summarization is inherently lossy and the blocking call stalls agent inference for tens of seconds. Moreover, the operator has no fine-grained control over summary volume since prompt instructions are largely ignored, and as context grows, both the amount of output tokens the model produces and the information it retains fluctuate substantially from run to run, making the agent's retained knowledge unpredictable across runs. We introduce \textbf{parallel compaction} for long-horizon agentic flows and characterize it against the sequential synchronous baseline across four backbones spanning 8B to 120B parameters, mixing dense and MoE architectures with reasoning and non-reasoning models, on the HotpotQA multi-hop QA and LoCoMo long-context dialogue benchmarks. Parallel compaction gives the operator fine-grained, predictable control over summary volume and enables more targeted prompt engineering per block. At matched compaction decode volume, it reduces end-to-end wall time and improves compaction throughput over the sequential baseline.
- Abstract（参考訳）: LLMエージェントは成長する会話履歴を蓄積し、最終的にモデルのコンテキストウィンドウを超える。
LLMベースの要約によるコンテキストのコンパクト化は会話のバウンドを維持するが、要約は本質的に損なわれ、ブロッキングコールはエージェント推論を数秒間停止させる。
さらに、オペレータは、プロンプト命令がほとんど無視されるため、サマリボリュームに対するきめ細かい制御がなく、コンテキストが大きくなるにつれて、モデルが生成する出力トークンの量と、それが保持する情報の両方が実行から実行まで大きく変動し、エージェントの保持する知識が実行中に予測不可能になる。
8Bから120Bのパラメータにまたがる4つのバックボーンにまたがる逐次同期ベースラインに対して,HotpotQAマルチホップQAとLoCoMoの長文対話ベンチマーク上で,推論モデルと非推論モデルとを混合した‘textbf{parallel compaction’を導入し,それを特徴付ける。
並列圧縮は、演算子に細粒度で予測可能なサマリボリュームの制御を与え、ブロックごとのプロンプトエンジニアリングをよりターゲットにすることができる。
一致した圧縮復号ボリュームでは、エンドツーエンドの壁時間を短縮し、シーケンシャルベースライン上での圧縮スループットを向上させる。
関連論文リスト
- ConvMem: Convolutional Memory for Long-Context Reasoning [18.597196274231553]
ConvMemは、長文推論を階層的な畳み込みとして再構成する、トレーニング不要で高度に並列化可能なフレームワークである。
ConvMemはトレーニング不要のベースラインよりも優れており、分散タスクにおけるパラメトリックな事前処理に過度に適合するリスクを回避している。
論文 参考訳（メタデータ） (2026-09-09T16:53:02Z) - BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving [43.73825162176931]
BlockServeは、ブロック粒度のスケジューリングを統合する継続的フレームワークである。
DreamとLLaDAでは、BlockServeは1.9-10.6$times$ over Fast-dLLMベンチマークを達成した。
論文 参考訳（メタデータ） (2026-07-09T20:48:08Z) - CoMIC: Collaborative Memory and Insights Circulation for Long-Horizon LLM Agents in Cloud-Edge Systems [23.892901534769067]
エッジサーバ上の軽量大規模言語モデル(LLM)エージェントは、レイテンシを低減し、エージェントサービスをユーザに近づける。
デプロイ後の微調整エッジモデルはコストが高く、異種ノードをまたいでスケールすることが難しい。
我々は,コラボレーティブメモリと循環インサイトのためのパラメータ更新不要なクラウドエッジフレームワークであるtextscCoMICを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:45:39Z) - CoMem: Context Management with A Decoupled Long-Context Model [68.6597154502361]
CoMemは、プライマリエージェントワークフローからメモリ管理を分離するフレームワークである。
我々は、CoMemがバニラロングコンテキストソリューションで1.4倍のレイテンシ改善を実現していることを示す。
論文 参考訳（メタデータ） (2026-05-29T04:59:32Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts [78.33143446024485]
我々は、横方向思考パズルに基づく環境ロールアウトによるエージェントの評価を行うtextbfAgentLongBenchを紹介した。
このフレームワークは、知識集約的で知識のないシナリオにまたがる厳密な相互作用の軌跡を生成する。
論文 参考訳（メタデータ） (2026-01-28T16:05:44Z) - AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。
AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
論文 参考訳（メタデータ） (2026-01-28T08:09:49Z) - Long Context Scaling: Divide and Conquer via Multi-Agent Question-driven Collaboration [8.841410317650386]
長いコンテキストを処理するための新しいマルチエージェントフレームワークを提案する。
XpandA(Expand-Agent)は質問駆動ワークフローと動的パーティショニングと結合されている。
XpandAは、フルコンテキスト、RAGおよびそれ以前のエージェントベースのメソッドのベースラインに対する20%の改善と1.5倍の推論高速化を実現している。
論文 参考訳（メタデータ） (2025-05-27T02:05:42Z) - LCIRC: A Recurrent Compression Approach for Efficient Long-form Context and Query Dependent Modeling in LLMs [10.84210988032097]
本稿では,長文列をモデルの長さ制限を超えて効率的に処理できるLCIRC(Long-form Context Injection with Recurrent Compression)を提案する。
また、クエリ依存コンテキストモデリングを導入し、クエリ関連情報を選択的に圧縮し、モデルが最も関連するコンテンツを保持することを保証する。
論文 参考訳（メタデータ） (2025-02-10T04:02:18Z) - KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である
この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
論文 参考訳（メタデータ） (2024-07-01T17:59:47Z) - Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。