論文の概要: In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2610.41291v1
• Date: Fri, 30 Oct 2026 05:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.626518
• Title: In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents
• Title（参考訳）: 長期LDMエージェントのためのエージェントソフトトークンを用いたモデル内圧縮
• Abstract要約: Agentic Soft-Token Compression (ASTC) は、長距離タスクにおけるソフトトークンを用いた訓練不要な圧縮手法である。 ASTCは吸収された情報をエージェントのソフトトークンとして転送し、正確な値をハードトークンとして保持する。 実験では、ASTCの一致または非圧縮剤の精度を最大50.68%減少させる。
• 参考スコア（独自算出の注目度）: 20.24988619287624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon LLM agents play an important role in solving complex and sustained tasks, with ever-growing interaction contexts. However, these accumulated contexts will raise substantial computational cost and obscure key decision-relevant evidence. Existing methods typically train external compressors or context-management agents to rewrite context as shorter hard-token sequences, but such external selection may not align with the LLM's evolving representation and is necessarily lossy. In this paper, we introduce Agentic Soft-Token Compression (ASTC), a training-free compression method using soft tokens within LLM agent for long-horizon tasks. Specifically, ASTC uses the model's native recurrent dynamics to determine the already absorbed information, leveraging the commonly-used hybrid Gated Delta Network (GDN)-attention. It then carries this information forward as agentic soft tokens while retaining exact values as hard tokens. The resulting compact sequence reduces later-layer computation and yields reusable KV caches, extending the savings across the agent's trajectory. Extensive experiments on long-horizon tasks show that ASTC matches or exceeds the uncompressed agent's accuracy with up to 50.68% fewer end-to-end Attention Pairs, while trained compressors require 15.4 to 103.7 times more Attention Pairs per successful task. These findings highlight agentic soft tokens as a model-native way to carry absorbed context forward as the task representation evolves.
• Abstract（参考訳）: ロングホライゾンLSMエージェントは、複雑で持続的なタスクの解決において重要な役割を果たす。 しかし、これらの蓄積された文脈は、かなりの計算コストと重要な決定関連証拠を生じさせる。 既存の手法では、外部圧縮機やコンテキスト管理エージェントをトレーニングして、コンテキストを短いハードトークンシーケンスとして書き直すが、そのような外部選択はLLMの進化する表現と一致せず、必ずしも損失がある。 本稿では,LLMエージェント内のソフトトークンを用いた長期作業用トレーニングフリー圧縮手法であるAgentic Soft-Token Compression (ASTC)を紹介する。 具体的には、ASTCはモデルのネイティブリカレントダイナミクスを使用して、一般的に使用されているGated Delta Network(GDN)のアテンションを利用して、既に吸収されている情報を決定する。 その後、この情報をエージェントのソフトトークンとして転送し、正確な値をハードトークンとして保持する。 結果として生じるコンパクトシーケンスは、後層計算を減らし、再利用可能なKVキャッシュを生成し、エージェントの軌道をまたいだ保存を延長する。 長期タスクに関する大規模な実験では、ASTCは非圧縮エージェントの精度を最大50.68%削減し、訓練された圧縮機はタスクごとに15.4から103.7倍の注意ペアを必要とする。 これらの知見は,タスク表現が進化するにつれて,吸収されたコンテキストを前進させるモデルネイティブな手法として,エージェント型ソフトトークンが注目される。

関連論文リスト

• Don't Lose the Thread: Empowering Long-Horizon LLM Agents with Cognitive Resource Self-Allocation [75.90509066213482]
  認知資源自己割当(Cognitive Resource Self-Allocation、CORAL)は、エージェントが積極的にコンテキストを最適化できるようにする新しい推論パラダイムである。 CORALは、エージェントがタスクの進捗と検証された事実をチェックポイントし、新しい問題解決のエピソードを適応的に開始することを可能にする。 GAIAベンチマークでは、8BモデルによるCORALの平均精度は42.8%であり、特に最も困難な長距離タスクでは顕著に向上している。
  論文  参考訳（メタデータ） (2026-10-29T16:07:10Z)
• ACM: Agentic Context Management for Long Horizon Tasks [27.337726990282928]
  Agentic Context Management (ACM) は、エージェントに汎用的なコンテキスト編集ツールを提供するフレームワークである。 短期記憶と長期記憶の相互作用にインスパイアされたエージェントは、いつそのコンテキストを圧縮するかを自律的に決定する。
  論文  参考訳（メタデータ） (2026-07-26T19:19:24Z)
• Context Compression via Explicit Information Transmission [25.078241611630585]
  大規模言語モデル(LLM)による長文推論は、二次的な注意とキー値キャッシュの増加によってコストがかかる。 ソフト圧縮を新しいパラダイムに定式化する軽量フレームワークComprExITを提案する。
  論文  参考訳（メタデータ） (2026-02-03T17:44:12Z)
• AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts [78.33143446024485]
  我々は、横方向思考パズルに基づく環境ロールアウトによるエージェントの評価を行うtextbfAgentLongBenchを紹介した。 このフレームワークは、知識集約的で知識のないシナリオにまたがる厳密な相互作用の軌跡を生成する。
  論文  参考訳（メタデータ） (2026-01-28T16:05:44Z)
• AgentOCR: Reimagining Agent History via Optical Self-Compression [25.87457777208574]
  本稿では,視覚トークンの優れた情報密度を利用するフレームワークであるAgentOCRを紹介する。 履歴をハッシュ可能なセグメントに分解し、ビジュアルキャッシュを維持することで、AgentOCRは冗長な再レンダリングを取り除く。 以上の結果から,AgentOCRは95%以上のテキストベースのエージェント性能を保ちながら,トークン消費量を大幅に削減していることがわかった。
  論文  参考訳（メタデータ） (2026-01-08T10:10:20Z)
• AgentFold: Long-Horizon Web Agents with Proactive Context Management [98.54523771369018]
  LLM ベースの Web エージェントは情報検索を大いに約束するが,その有効性はコンテキスト管理における基本的なトレードオフによって妨げられる。 本稿では,プロアクティブなコンテキスト管理を中心としたエージェントパラダイムであるAgentFoldを紹介する。 単純な微調整により,BrowseCompでは36.2%,BrowseComp-ZHでは47.3%を達成した。
  論文  参考訳（メタデータ） (2025-10-28T17:51:50Z)
• ACON: Optimizing Context Compression for Long-horizon LLM Agents [35.364309592473845]
  大規模言語モデル(LLM)は、動的で現実世界の環境においてエージェントとしてますます多くデプロイされている。 エージェントコンテキスト最適化(ACON)は、環境観測と相互作用履歴の両方を簡潔な凝縮に最適に圧縮する。 ACONは、メモリ使用量を26～54%削減し、タスク性能を保ちながら、より小さな圧縮機に蒸留すると95%以上の精度を維持する。
  論文  参考訳（メタデータ） (2025-10-01T07:43:49Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。