論文の概要: Think, Look, and Revise: Inconsistency-Aware Visual Self-Correction in MLLMs

• arxiv url: http://arxiv.org/abs/2608.29374v1
• Date: Sat, 29 Aug 2026 17:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.9465
• Title: Think, Look, and Revise: Inconsistency-Aware Visual Self-Correction in MLLMs
• Title（参考訳）: MLLMにおける不整合を考慮した視覚的自己補正
• Abstract要約: ツール拡張マルチモーダル推論は、外部ツールをマルチモーダルな言語モデルに統合する。 ツール強化推論のための検証と動的エラー回復をMLLMに組み込むフレームワークであるReVISEを提案する。
• 参考スコア（独自算出の注目度）: 35.17881745040865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-augmented multimodal reasoning integrates external tools (e.g., object detection, depth estimation) into multimodal large language models (MLLMs) to address perceptual bottlenecks in complex visual tasks. However, existing approaches rarely verify tool outputs, limiting their ability to detect and recover from tool failures. We propose ReVISE, a framework that equips MLLMs with verification and dynamic error recovery for tool-augmented reasoning. ReVISE introduces (1) a curated training dataset that supervises reflective behaviors, enabling models to validate tool-derived evidence, reformulate queries when visual mismatches arise, and fall back to intrinsic grounding when external tools are unreliable; and (2) a reinforcement learning based targeted rewards that encourage internal reflection and penalize spatial misalignment. Experiments on several benchmarks demonstrate consistent improvements over existing methods, highlighting the importance of error detection and correction in tool-augmented multimodal reasoning.
• Abstract（参考訳）: ツール拡張マルチモーダル推論は、複雑な視覚的タスクにおける知覚的ボトルネックに対処するために、外部ツール(オブジェクト検出、深さ推定など)をマルチモーダル大言語モデル(MLLM)に統合する。 しかし、既存のアプローチではツールのアウトプットを検証することはめったになく、ツールの障害を検出してリカバリする能力を制限する。 ツール強化推論のための検証と動的エラー回復をMLLMに組み込むフレームワークであるReVISEを提案する。 ReVISEでは,(1)反射行動を監督し,ツール由来のエビデンスを検証し,視覚的ミスマッチの発生時にクエリを再構成し,外部ツールが信頼できない時に本質的なグラウンドにフォールバックする訓練データセット,(2)内部のリフレクションを奨励し,空間的ミスアライメントを罰する強化学習に基づく目標報酬について紹介する。 いくつかのベンチマークの実験では、既存の手法よりも一貫した改善が示されており、ツール強化マルチモーダル推論におけるエラー検出と修正の重要性を強調している。

関連論文リスト

• Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents [54.050506620820784]
  エージェントツールアンラーニング(ATU)は、通常のツール使用を保持しながら、パラメトリックリコールとツールによるリカバリの両方を削減することを目的としている。 ATUは、ツール強化されたエージェントデプロイメント下で、ターゲットの忘れと保持ユーティリティのバランスを向上し、未学習をより堅牢にする。
  論文  参考訳（メタデータ） (2026-08-21T18:34:48Z)
• Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools [65.7098588070281]
  我々は,自己制御能力を中心とした新しい視覚ツールパラダイムであるBeyond the Eye (BEE)を提案する。 BEEは、視覚的ツールの呼び出し動作をトレーニングの目的に取り入れ、自己規制された呼び出しメカニズムを開発するようモデルに促す。 BEEは、一般的な推論タスクにおいて競争力を維持しながら、きめ細かい視覚知覚において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-13T05:32:00Z)
• ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
  ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。 ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T11:14:47Z)
• What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom [26.940122024948597]
  MED (Measure-Explain-Diagnose) を導入し, 道具誘発効果による内在能力の変化を解消した。 ツール・ユース・RLはツールによるダメージを主に軽減するのに対し、改善は本質的な学習に支配されている。 全体として、現在の視覚ツール使用RLは、それをマスターするのではなく、安全にツールと共存することを学ぶ。
  論文  参考訳（メタデータ） (2026-02-01T17:00:50Z)
• VG-Refiner: Towards Tool-Refined Referring Grounded Reasoning via Agentic Reinforcement Learning [35.49623258104176]
  VG-Refinerは、ツール修正のための最初のフレームワークである。 2段階の思考再考機構を導入し、モデルがツールフィードバックを明示的に分析し、応答できるようにする。 我々は,基準基準の参照と推論における精度と補正能力の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2025-12-06T09:58:01Z)
• ToolCritic: Detecting and Correcting Tool-Use Errors in Dialogue Systems [4.930296454541593]
  ToolCriticは、マルチターン、ツール拡張された対話におけるツールの使用を評価し、改善するフレームワークである。 試行によると、ToolCriticはツール呼び出しの精度を最大13%改善している。
  論文  参考訳（メタデータ） (2025-10-19T23:42:39Z)
• Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
  大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。 これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。 また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
  論文  参考訳（メタデータ） (2025-08-12T09:45:19Z)
• Advancing Tool-Augmented Large Language Models via Meta-Verification and Reflection Learning [63.2198957755528]
  本稿では,2つの重要なイノベーションを通じてシステム2推論を包括的に行う新しいツール拡張LDMであるTool-MVRを提案する。 具体的には、まず、API、クエリ、推論トラジェクトリを厳格に検証する体系的なパイプラインであるMulti-Agent Meta-Verification(MAMV)を紹介します。 第2に,ツールフィードバックを活用することで,ツールのリフレクション機能を向上させるExploration-based Reflection Learning (EXPLORE)を提案する。
  論文  参考訳（メタデータ） (2025-06-05T04:35:49Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。