論文の概要: Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents
- arxiv url: http://arxiv.org/abs/2608.22963v2
- Date: Thu, 27 Aug 2026 11:42:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 14:16:51.68471
- Title: Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents
- Title（参考訳）: テキスト負債に埋もれ込む:MLLMエージェントの視覚的エビデンス保存によるコンテキストプルーニング
- Abstract要約: ツール・ユース・エージェントに蓄積した推論を解析するためのKullback-Leibler-Guidedフレームワークを提案する。
SPAREは、推論トークンの37.89-64.58%を除去しながら、プルーニング法の中で最も高い平均精度を達成する。
この良好な精度とコンテキストのトレードオフは、テキストによる優位性の低下が視覚的証拠への依存を回復し、自己生成言語による過度な条件付けを緩和することを示している。
- 参考スコア（独自算出の注目度）: 16.82888862043366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) are increasingly deployed as multi-step agents, where explicit reasoning supports task decomposition and tool coordination but also accumulates self-generated text. Over long trajectories, this text can dominate the context and suppress visual evidence, creating textual debt. We observe that reasoning becomes redundant once task-relevant visual evidence is grounded, while stale hypotheses can misguide later inference when grounding remains uncertain. Pruning must therefore remove redundant text without discarding visual evidence. We propose SPARE, a Kullback-Leibler (KL)-guided framework for pruning accumulated reasoning in multimodal tool-use agents. SPARE uses a compact task-state summary as privileged diagnostic context. For each candidate segment, it replays the same model under the original and summary-conditioned contexts. Reverse-KL divergence from on-policy self-distillation (OPSD) then tests whether the summary sufficiently covers the segment without disrupting future reasoning. We further fine-tune the summarizer with supervised fine-tuning (SFT), enabling more compact summaries, broader coverage, and more aggressive pruning. Across multi-step visual tool-use benchmarks, SPARE achieves the highest average accuracy among pruning methods while removing 37.89-64.58\% of reasoning tokens. This favorable accuracy-context trade-off shows that reducing textual dominance restores reliance on visual evidence and mitigates over-conditioning on self-generated language.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、タスクの分解とツールの調整をサポートするが、自己生成したテキストを蓄積するマルチステップエージェントとして、ますます多くデプロイされている。
長い軌跡の中で、このテキストは文脈を支配し、視覚的証拠を抑圧し、テキストの負債を生み出す。
課題関連視覚的証拠が根拠となると推論が冗長になるのに対し、古い仮説は根拠が不確実な場合には後続の推論を誤る可能性がある。
したがって、プルーニングは視覚的証拠を捨てることなく冗長なテキストを削除する必要がある。
マルチモーダル・ツール・ユース・エージェントにおける累積推論処理のためのKL誘導フレームワークであるSPAREを提案する。
SPAREは、特権付き診断コンテキストとして、コンパクトなタスク状態サマリーを使用する。
候補セグメントごとに、元のコンテキストと要約条件の下で同じモデルを再生する。
オンライン自己蒸留(OPSD)からの逆KLの分岐は、将来の推論を混乱させることなく、要約がセグメントを十分にカバーするかどうかを検査する。
さらに、よりコンパクトな要約、より広範なカバレッジ、よりアグレッシブなプルーニングを可能にする、教師付き微調整(SFT)による要約器を微調整する。
マルチステップのビジュアルツール使用ベンチマークにおいて、SPAREは37.89-64.58\%の推論トークンを取り除き、プルーニング手法の中で最も高い平均精度を達成している。
この良好な精度とコンテキストのトレードオフは、テキストによる優位性の低下が視覚的証拠への依存を回復し、自己生成言語による過度な条件付けを緩和することを示している。
関連論文リスト
- SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding [61.02068339726333]
中国古文書理解のためのエビデンスを基盤としたマルチエージェントフレームワークであるSAGEを提案する。
SAGEは、タスク対応計画、ツールによるエビデンス獲得、クレームレベルの検証、バウンドリプランニングのための特殊エージェントを調整する。
AncientDocベンチマークの実験によると、SAGEは直接答えベースラインと一貫して優れていた。
論文 参考訳（メタデータ） (2026-08-25T03:01:51Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳（メタデータ） (2026-05-28T12:40:34Z) - Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs [6.111899371682025]
視覚言語モデルは、テキストCoTの視覚的情報損失により、複雑な視覚的推論に苦しむことが多い。
我々は,強化潜在推論フレームワークである"Decompose, Look, and Reason"(DLR)を提案する。
ビジョン中心のベンチマークの実験では、DLRは一貫して強いベースラインを上回っている。
論文 参考訳（メタデータ） (2026-04-08T18:52:27Z) - Parallel LLM Reasoning for Bias-Resilient, Robust Conceptual Abstraction [0.0]
本研究では,並列チャンクレベル処理とエビデンス・アンコレッド・コンソリデーションを組み合わせた構造化フレームワークを提案する。
複数のモデルタイプとサイズで実験したところ、並列処理は省略誤差を約84%削減することがわかった。
より小さなモデルは最も恩恵を受けており、信頼性とスケーラブルなテキスト分析を達成する上で、効率的な並列チャンキングと統合が重要な役割を担っていることを示唆している。
論文 参考訳（メタデータ） (2026-04-04T05:11:20Z) - PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。
最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。
PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文 参考訳（メタデータ） (2026-04-02T14:04:53Z) - Saliency-Aware Multi-Route Thinking: Revisiting Vision-Language Reasoning [50.62037276161025]
視覚言語モデル(VLM)は、視覚とテキストのモダリティを共同で活用することを目的としている。
主な障害は、視覚的な入力は通常、生成開始時に1回だけ提供されることである。
EmphSaliency-Aware Principle (SAP) の選択を提案する。
論文 参考訳（メタデータ） (2026-02-18T18:49:56Z) - Reasoning-Augmented Representations for Multimodal Retrieval [27.4146940988752]
Universal Multimodal Retrieval (UMR) は、テキストと視覚を横断する任意の検索を求める。
画像が“サイレント”なエビデンスを持ち、クエリがキーセマンティクスを暗黙的に残す場合、単一の埋め込みパスは理由と圧縮の両方でなければならない。
本稿では、検索前の推論を外部化することで、これらの役割を分離するデータ中心のフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-06T19:01:54Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳（メタデータ） (2025-11-28T03:09:40Z) - TS-Agent: A Time Series Reasoning Agent with Iterative Statistical Insight Gathering [16.95452463476229]
大規模言語モデル(LLM)のための時系列推論エージェントTS-Agentを提案する。
時系列をテキストトークン、画像、埋め込みにマッピングする代わりに、我々のエージェントは原子演算子を介して生の数値列と相互作用する。
実験の結果,TS-Agent は理解ベンチマークの最先端 LLM に匹敵する性能を達成できた。
論文 参考訳（メタデータ） (2025-10-08T18:31:53Z) - Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。
法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-03T01:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。