論文の概要: ACON: Optimizing Context Compression for Long-horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2510.00615v1
• Date: Wed, 01 Oct 2025 07:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.444566
• Title: ACON: Optimizing Context Compression for Long-horizon LLM Agents
• Title（参考訳）: ACON:長期LDMエージェントのコンテキスト圧縮最適化
• Authors: Minki Kang, Wei-Ning Chen, Dongge Han, Huseyin A. Inan, Lukas Wutschitz, Yanzhi Chen, Robert Sim, Saravan Rajmohan,
• Abstract要約: Agent Context Optimization (ACON) は、環境観測と相互作用履歴の両方を簡潔な凝縮に最適に圧縮する統合フレームワークである。 ACONは、メモリ使用量を26-54%削減し(ピークトークン)、タスク性能を保ちながら、より小さな圧縮機に蒸留すると95%以上の精度を維持する。 AppWorld、OfficeBench、Multi-objective QAの実験では、ACONはメモリ使用量を26～54%削減し(ピークトークン)、タスク性能を保ちながら、小さな圧縮機に蒸留すると95%以上の精度を保っている。
• 参考スコア（独自算出の注目度）: 35.364309592473845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed as agents in dynamic, real-world environments, where success requires both reasoning and effective tool use. A central challenge for agentic tasks is the growing context length, as agents must accumulate long histories of actions and observations. This expansion raises costs and reduces efficiency in long-horizon tasks, yet prior work on context compression has mostly focused on single-step tasks or narrow applications. We introduce Agent Context Optimization (ACON), a unified framework that optimally compresses both environment observations and interaction histories into concise yet informative condensations. ACON leverages compression guideline optimization in natural language space: given paired trajectories where full context succeeds but compressed context fails, capable LLMs analyze the causes of failure, and the compression guideline is updated accordingly. Furthermore, we propose distilling the optimized LLM compressor into smaller models to reduce the overhead of the additional module. Experiments on AppWorld, OfficeBench, and Multi-objective QA show that ACON reduces memory usage by 26-54% (peak tokens) while largely preserving task performance, preserves over 95% of accuracy when distilled into smaller compressors, and enhances smaller LMs as long-horizon agents with up to 46% performance improvement.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、動的で実世界のエージェントとしてますます多くデプロイされ、成功には推論と効果的なツールの使用の両方が必要である。 エージェント的タスクにおける中心的な課題は、エージェントが行動と観察の長い履歴を蓄積する必要があるため、コンテキストの長さの増大である。 この拡張はコストを増大させ、長期タスクの効率を低下させるが、コンテキスト圧縮の以前の作業は、主に単一ステップタスクや狭いアプリケーションに重点を置いていた。 本稿では,環境観測とインタラクション履歴の両方を簡潔かつ情報的な凝縮に最適に圧縮する統合フレームワークであるエージェントコンテキスト最適化(ACON)を紹介する。 ACONは、自然言語空間における圧縮ガイドラインの最適化を利用する: 完全なコンテキストが成功するが圧縮されたコンテキストが失敗するペア軌道が与えられた場合、能力のあるLCMが障害の原因を分析し、圧縮ガイドラインが更新される。 さらに, 最適化LPM圧縮機を小型モデルに蒸留し, 追加モジュールのオーバーヘッドを低減することを提案する。 AppWorld、OfficeBench、Multi-objective QAでの実験では、ACONはタスク性能を保ちながらメモリ使用量を26～54%削減し、小さな圧縮機に蒸留した際の精度を95%以上保持し、パフォーマンスを最大46%向上したロングホライゾンエージェントとして小さなLMを強化している。

関連論文リスト

• CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling [52.05149789178508]
  CCFは、効率的な長期コンテキストモデリングを可能にするように設計された、新しいコンテキスト圧縮フレームワークである。 CCFはセグメントワイドなセマンティックアグリゲーションとキー-値メモリエンコーディングを統合し、コンパクトな表現を形成する。 複数の長文言語モデリングベンチマークによる実験結果から,CCFは高い圧縮比下での競合パープレキシティを実現することが示された。
  論文  参考訳（メタデータ） (2025-09-11T07:13:49Z)
• CORE-RAG: Lossless Compression for Retrieval-Augmented LLMs via Reinforcement Learning [22.93037884068796]
  Retrieval-Augmented Generation (RAG) は、知識更新のタイムラインと大規模言語モデルにおける応答の事実的正確性を高めるための有望なアプローチとして登場した。 RAG用に調整された文書圧縮への既存のアプローチは、しばしばタスクパフォーマンスを低下させる。 我々は、RAGにおけるロスレスコンテキスト圧縮の新しい手法であるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-24T12:21:50Z)
• Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning [0.0]
  文脈圧縮。 (CCE)はパラメータ分布を動的に再構成する多段符号化機構を導入した。 CCEは言語表現力とコヒーレンスを維持し、テキスト生成や分類タスクの精度を維持した。
  論文  参考訳（メタデータ） (2025-02-12T11:44:19Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models [21.36437021964681]
  Global Compression Commander"はHR-LVLM用の新しいトークン圧縮フレームワークである。 GlobalCom$2$は90%以上のパフォーマンスを維持し、90%のビジュアルトークンを圧縮し、FLOPとピークメモリを9.1%と60%に削減している。
  論文  参考訳（メタデータ） (2025-01-09T11:57:58Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。