論文の概要: Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

• arxiv url: http://arxiv.org/abs/2607.11106v1
• Date: Mon, 13 Jul 2026 05:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.337902
• Title: Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools
• Title（参考訳）: Beyond the Eye: 自己制御型視覚ツールによる効率的なマルチモーダル推論
• Abstract要約: 我々は,自己制御能力を中心とした新しい視覚ツールパラダイムであるBeyond the Eye (BEE)を提案する。 BEEは、視覚的ツールの呼び出し動作をトレーニングの目的に取り入れ、自己規制された呼び出しメカニズムを開発するようモデルに促す。 BEEは、一般的な推論タスクにおいて競争力を維持しながら、きめ細かい視覚知覚において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 65.7098588070281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent multimodal large language models (MLLMs) have made remarkable progress on fine-grained perception tasks under the "Thinking with Images" (TwI) paradigm by iteratively performing various visual tool operations. However, this paradigm relies heavily on frequent external tool calls and repeated image re-encoding, which leads to substantial computational overhead and inference latency. To address these issues, we propose Beyond the Eye (BEE), a novel implicit visual tool paradigm centered on self-regulated capability. BEE directly incorporates visual tool invocation behaviors into the training objective and encourages the model to develop a self-regulated invocation mechanism. This design enables the model to adaptively balance internal knowledge and implicit tools, avoiding redundant tool usage while substantially reducing inference latency. Specifically, BEE involves a two-stage training process: (1) Formalized Chain-of-Thought (CoT) Supervised Fine-tuning (SFT). We construct CoT trajectories with structured tool slots and mixed invocation states. This stage activates the model's implicit tool representations and adaptive switching capability. (2) Self-regulated Reward-Driven Alignment. To address redundant tool usage caused by ambiguous cognitive boundaries, we first introduce the Net Tool Gain (NTG) metric to quantify this phenomenon. Based on this observation, we further propose a self-regulated reward mechanism. This mechanism penalizes ineffective tool dependency and encourages the model to perform knowledge routing, ensuring that implicit tools are invoked only when the model's internal knowledge is insufficient. BEE achieves state-of-the-art performance in fine-grained visual perception while remaining competitive in general reasoning tasks and achieving substantial gains in inference efficiency.
• Abstract（参考訳）: 近年のマルチモーダル大規模言語モデル(MLLM)は、様々な視覚ツール操作を反復的に行うことで、"Thinking with Images"(TwI)パラダイムの下で、きめ細かな知覚タスクにおいて顕著な進歩を遂げている。 しかし、このパラダイムは、頻繁な外部ツールコールと反復的なイメージ再エンコーディングに大きく依存しているため、計算オーバーヘッドと推論遅延が大幅に増加する。 これらの課題に対処するため、我々は、自己規制能力を中心とした新しい視覚的ツールパラダイムであるBeyond the Eye (BEE)を提案する。 BEEは、視覚ツールの起動行動を直接訓練目標に組み込んで、自己規制型起動メカニズムを開発するようモデルに促す。 この設計により、モデルを適応的に内部知識と暗黙のツールのバランスをとることができ、冗長なツールの使用を避けると同時に、推論遅延を大幅に低減することができる。 具体的には、BEEは以下の2段階のトレーニングプロセスを含む: (1) 形式化されたチェーン・オブ・ソート(CoT) 監視ファインチューニング(SFT)。 我々は、構造化ツールスロットと混合呼び出し状態を備えたCoTトラジェクトリを構築する。 このステージは、モデルの暗黙のツール表現と適応的な切り替え機能を起動する。 2)自己規制リワード駆動アライメント 曖昧な認知境界によって引き起こされる冗長ツールの使用に対処するために、まず、この現象を定量化するためにNet Tool Gain(NTG)メトリクスを導入する。 そこで本研究では,自己統制型報酬機構を提案する。 このメカニズムは、非効率なツール依存を罰し、モデルの内部知識が不十分な場合にのみ暗黙のツールが呼び出されることを保証し、知識ルーティングを実行するよう促す。 BEEは、一般的な推論タスクにおいて競争力を維持しつつ、詳細な視覚知覚において最先端のパフォーマンスを達成し、推論効率のかなりの向上を達成する。

関連論文リスト

• Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models [27.250148827297604]
  HDPOは、ツールの効率を競合するスカラー目標から厳格な条件に書き換えるフレームワークです。 私たちのモデルであるMetisは、推論精度を同時に高めながら、ツールの呼び出しを桁違いに削減します。
  論文  参考訳（メタデータ） (2026-04-09T17:59:57Z)
• ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
  ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。 ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T11:14:47Z)
• Evolving from Tool User to Creator via Training-Free Experience Reuse in Multimodal Reasoning [16.12114923351562]
  エージェントをツールユーザからツールクリエータに変換する,トレーニング不要のフレームワークを提案する。 このアプローチは推論の経験を抽出し、再利用可能な資産に蒸留する。 ツールライブラリをメンテナンスするためのメモリ統合機構も導入する。
  論文  参考訳（メタデータ） (2026-02-02T11:37:45Z)
• What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom [26.940122024948597]
  MED (Measure-Explain-Diagnose) を導入し, 道具誘発効果による内在能力の変化を解消した。 ツール・ユース・RLはツールによるダメージを主に軽減するのに対し、改善は本質的な学習に支配されている。 全体として、現在の視覚ツール使用RLは、それをマスターするのではなく、安全にツールと共存することを学ぶ。
  論文  参考訳（メタデータ） (2026-02-01T17:00:50Z)
• Reasoning and Tool-use Compete in Agentic RL:From Quantifying Interference to Disentangled Tuning [26.401906729658688]
  Agentic Reinforcement Learning (ARL) は、複雑なタスクを解決するために、推論と外部ツールの実行をインターリーブするために、大きな言語モデルをトレーニングすることに焦点を当てている。 ほとんどの既存のARLメソッドは、推論とツールの使用行動の両方をサポートするために単一の共有モデルパラメータをトレーニングしている。 これらの2つの能力は、しばしば不整合勾配方向を誘導し、共同最適化の有効性を損なう訓練の干渉を引き起こす。 DART(Disentangled Action Reasoning Tuning)は、推論のためのパラメータ更新とツール使用を分離したローランクで明示的に分離する、シンプルで効率的なフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T03:19:22Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference Learning [68.89572566071575]
  Tool-Integrated Reasoning (TIR)により、大きな言語モデル(LLM)は、外部ツールを統合することで、内部推論能力を改善することができる。 提案するTool-Lightは,LDMがTIRを効率的にかつ正確に実行できるようにするためのフレームワークである。 10個のデータセットの実験結果は、ツールライトの有効性を示している。
  論文  参考訳（メタデータ） (2025-09-27T12:53:37Z)
• Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
  大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。 これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。 また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
  論文  参考訳（メタデータ） (2025-08-12T09:45:19Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。