論文の概要: Tools Need Not Speak in Text: Latent Context Compression for Agents
- arxiv url: http://arxiv.org/abs/2611.06500v1
- Date: Wed, 04 Nov 2026 13:32:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.121261
- Title: Tools Need Not Speak in Text: Latent Context Compression for Agents
- Title（参考訳）: テキストで話す必要のないツール:エージェントの潜在コンテキスト圧縮
- Abstract要約: 大規模言語モデル(LLM)エージェントは通常、そのコンテキストに生のツール出力を付加する。
既存のトークンプルーニングと要約手法は、離散テキスト表現によって制約される。
我々は,LLMエージェントの連続潜時文脈圧縮モデルであるCoca-Colaを提案する。
- 参考スコア（独自算出の注目度）: 8.461128095048657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents typically append raw tool outputs to their context. Over multi-step interactions, long and noisy observations incur substantial context overhead and dilute the agent's attention to task-relevant information. Existing token pruning and summarization methods remain constrained by discrete text representations, limiting the achievable compression ratios. In this work, we challenge the prevailing assumption that agents must consume tool observations as explicit text tokens. To this end, we propose Coca-Cola, a continuous latent context compression model for LLM agents. Coca-Cola compresses tool observations into latent tokens and embeds them into the input embedding space of the agent. We further introduce Action-Preserving Training, which aligns the agent's next-action distributions under full and compressed observations. This trains the compression model to learn action-sufficient latent tokens that retain decision-critical information. Experiments with web-search agents on four QA benchmarks and two model families show that Coca-Cola reduces the agent's token consumption by 70.01%-89.24% and end-to-end runtime by 24.45%-55.97%, while consistently improving task performance. These results suggest that Coca-Cola offers a promising approach for context compression in agents. Our code is available at https://github.com/THU-Agent/Coca-cola.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは通常、そのコンテキストに生のツール出力を付加する。
多段階の相互作用において、長く騒々しい観察がコンテキストオーバーヘッドを発生させ、エージェントのタスク関連情報への注意を薄める。
既存のトークンプルーニングと要約法は、個々のテキスト表現によって制約され、達成可能な圧縮比が制限される。
本研究では、エージェントがツールの観察を明示的なテキストトークンとして消費しなければならないという一般的な仮定に挑戦する。
この目的のために,LLMエージェントの連続潜時文脈圧縮モデルであるCoca-Colaを提案する。
コカ・コーラはツールの観察結果を潜在トークンに圧縮し、エージェントの入力埋め込み空間に埋め込む。
さらに、エージェントの次のアクション分布を、フルかつ圧縮された観察下で整列させるアクション保存訓練を導入する。
これにより、圧縮モデルをトレーニングし、決定クリティカルな情報を保持するアクション対応の潜在トークンを学習する。
4つのQAベンチマークと2つのモデルファミリーでのWeb検索エージェントの実験では、Coca-Colaはエージェントのトークン消費を70.01%-89.24%削減し、エンドツーエンドランタイムを24.45%-55.97%削減し、タスク性能を継続的に改善している。
これらの結果は,コカ・コーラがエージェントの文脈圧縮に有望なアプローチを提供することを示している。
私たちのコードはhttps://github.com/THU-Agent/Coca-cola.comで公開されています。
関連論文リスト
- In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents [20.24988619287624]
Agentic Soft-Token Compression (ASTC) は、長距離タスクにおけるソフトトークンを用いた訓練不要な圧縮手法である。
ASTCは吸収された情報をエージェントのソフトトークンとして転送し、正確な値をハードトークンとして保持する。
実験では、ASTCの一致または非圧縮剤の精度を最大50.68%減少させる。
論文 参考訳（メタデータ） (2026-10-30T05:52:25Z) - Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? [64.13250261774849]
私たちは、共有ワークスペースの周りに、ヒューマンガイダンスとエージェント実行を構造化するコラボレーティブワークフローを構築します。
エージェントが何を自動化するかを測定するため、我々は公開レシピに対して段階的に軌道ステージを監査する。
以上の結果から, エージェントは不特定レシピを回収し, 改良し, 失速した場合には, 文献を調査し, LMキャリアからフローキャリアへピボットすることがわかった。
論文 参考訳（メタデータ） (2026-10-03T12:44:09Z) - Compress What You See, Not What You Say: Anchored Context Distillation for Latent-Observation Software Engineering Agents [9.105007404211452]
Latent Observations, Hard Actions (LOHA) は、圧縮された履歴を正確な参照に必要なテキストから分離するコンテキストレイアウトである。
LOHAは、古いツールの観察をソフトトークンに圧縮し、エージェント自身のターンと最後のK観察をテキストで保持する。
ACDは、ベースモデルのフルテキスト予測を潜在ビューに蒸留し、その振る舞いを同じベースモデルへの平文入力に固定する。
論文 参考訳（メタデータ） (2026-09-25T15:51:40Z) - CoACT: Action-Preserving Observation Compression for Coding Agents [8.484842324052751]
本稿では,符号化エージェントの動作保存型観測圧縮手法であるCoACTを提案する。
CoACTは、生の観測と同じ次のアクションを誘導するために圧縮された観察を必要とする、次のアクション保存(NAP)上に構築されている。
3つのエージェントモデルで検証されたSWEベンチ実験の結果,CoACTは平均トークン消費量を33.0%削減することがわかった。
論文 参考訳（メタデータ） (2026-07-03T03:17:52Z) - GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。
長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。
我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
論文 参考訳（メタデータ） (2026-04-18T17:59:15Z) - Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。
本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。
クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。
これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
論文 参考訳（メタデータ） (2026-02-12T18:15:08Z) - AgentOCR: Reimagining Agent History via Optical Self-Compression [25.87457777208574]
本稿では,視覚トークンの優れた情報密度を利用するフレームワークであるAgentOCRを紹介する。
履歴をハッシュ可能なセグメントに分解し、ビジュアルキャッシュを維持することで、AgentOCRは冗長な再レンダリングを取り除く。
以上の結果から,AgentOCRは95%以上のテキストベースのエージェント性能を保ちながら,トークン消費量を大幅に削減していることがわかった。
論文 参考訳（メタデータ） (2026-01-08T10:10:20Z) - Sentinel: Attention Probing of Proxy Models for LLM Context Compression with an Understanding Perspective [29.50363211934763]
Retrieval-augmented Generation (RAG) は、外部コンテキストを持つ大きな言語モデルを強化するが、検索されたパスは、しばしば長い、騒々しい、あるいは入力限界を超える。
本研究では,文脈フィルタリングを注目に基づく理解タスクとして再構成する軽量な文レベル圧縮フレームワークであるSentinelを提案する。
論文 参考訳（メタデータ） (2025-05-29T09:24:12Z) - Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。
API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-07-02T08:17:00Z) - Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。
本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。
最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文 参考訳（メタデータ） (2023-05-24T06:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。