論文の概要: Beacon: Knowing When and How to Perform Agentic Visual Reasoning

• arxiv url: http://arxiv.org/abs/2607.28595v1
• Date: Thu, 30 Jul 2026 17:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.706316
• Title: Beacon: Knowing When and How to Perform Agentic Visual Reasoning
• Title（参考訳）: Beacon: エージェントの視覚的推論をいつ、どのように実行するかを知る
• Abstract要約: 本稿では,より優れた全体的な性能,改良されたモード適応性,真のツールによるパフォーマンス向上を実現する,エージェント型視覚推論モデルを提案する。 ビーコンの核心には、強化学習段階における必要認識適応逆流とヒントガイド能力拡張機構がある。
• 参考スコア（独自算出の注目度）: 35.34377563874046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fundamental goal of agentic visual reasoning is to improve the success rate of multimodal large language models (MLLMs) on complex tasks, rather than merely equipping them with a sophisticated yet inefficient reasoning paradigm. In this work, we rethink agentic visual reasoning through two key dimensions of tool use: Mode Adaptiveness (MA) and Tool Effect (TE). Mode Adaptiveness characterizes whether an MLLM can recognize when tools are truly necessary and invoke them accordingly, thereby avoiding unnecessary computational overhead while improving performance on challenging problems that require tool assistance. Tool Effect characterizes the actual impact of tool use: tools should extend the model's capabilities on problems unsolvable through text-only reasoning, while avoiding additional errors on problems that the model can already solve without tools. We conduct a comprehensive analysis to quantify these two properties and empirically reveal that existing agentic visual reasoning models exhibit limited Mode Adaptiveness, while the gains produced by tool use on hard examples are largely offset by the harm introduced on easy examples that the models can already solve. Motivated by these observations, we propose Beacon, a novel agentic visual reasoning model that achieves stronger overall performance, improved Mode Adaptiveness, and genuine tool-induced performance gains. At the core of Beacon are the Necessity-Aware Adaptive Reward and the Hint-Guided Capability Expansion mechanism in the reinforcement learning stage, which respectively encourage adaptive tool invocation based on task necessity and strengthen the model's tool-use capability on the most challenging problems. Extensive experiments across diverse benchmarks demonstrate the strong overall performance of Beacon and its substantial improvements in both Mode Adaptiveness and Tool Effect.
• Abstract（参考訳）: エージェント視覚推論の基本的な目標は、複雑なタスクにおけるマルチモーダルな大規模言語モデル(MLLM)の成功率を改善することである。 本研究では, エージェントによる視覚的推論を, モード適応性(MA)とツールエフェクト(TE)の2つの重要な側面を通じて再考する。 モード適応性(Mode Adaptiveness)は、MLLMがツールが本当に必要なときに認識し、それに従って呼び出すことができるかどうかを特徴付ける。 ツールエフェクト(ツールエフェクト)は、ツールの使用による実際の影響を特徴付けている。 ツールは、テキストのみの推論によって解決不可能な問題に対するモデルの能力を拡張し、ツールなしでモデルが既に解決できる問題に対する追加エラーを避けるべきである。 これらの2つの特性を定量化するために包括的分析を行い、既存のエージェント視覚推論モデルが限定的なモード適応性を示すことを実証的に明らかにする。 これらの観測によって動機づけられたBeaconは、より優れた全体的なパフォーマンス、改良されたモード適応性、真のツールによるパフォーマンス向上を実現する新しいエージェント視覚推論モデルである。 Beaconのコアとなるのは、強化学習段階における必然性認識適応リワード(Necessity-Aware Adaptive Reward)とHint-Guided Capability Expansion(Hint-Guided Capability Expansion)メカニズムである。 さまざまなベンチマークにわたる大規模な実験は、Beaconの全体的なパフォーマンスと、モード適応性とツールエフェクトの両方で大幅に改善されていることを示している。

関連論文リスト

• Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools [65.7098588070281]
  我々は,自己制御能力を中心とした新しい視覚ツールパラダイムであるBeyond the Eye (BEE)を提案する。 BEEは、視覚的ツールの呼び出し動作をトレーニングの目的に取り入れ、自己規制された呼び出しメカニズムを開発するようモデルに促す。 BEEは、一般的な推論タスクにおいて競争力を維持しながら、きめ細かい視覚知覚において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-13T05:32:00Z)
• Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning [44.46498720264651]
  本稿では,各クエリの特徴に応じてツールを呼び出すかどうかを適応的に決定するモデルであるAutoToolを紹介する。 強化学習フレームワーク内では、モード固有の報酬関数を持つ明示的な二重モード推論戦略を設計する。 実験により、AutoToolは優れた性能と高い効率を示すことが示された。
  論文  参考訳（メタデータ） (2026-05-19T13:44:26Z)
• What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom [26.940122024948597]
  MED (Measure-Explain-Diagnose) を導入し, 道具誘発効果による内在能力の変化を解消した。 ツール・ユース・RLはツールによるダメージを主に軽減するのに対し、改善は本質的な学習に支配されている。 全体として、現在の視覚ツール使用RLは、それをマスターするのではなく、安全にツールと共存することを学ぶ。
  論文  参考訳（メタデータ） (2026-02-01T17:00:50Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Improving Large Language Models Function Calling and Interpretability via Guided-Structured Templates [56.73907811047611]
  大規模言語モデル(LLM)は強力な推論とツール使用能力を示している。 LLMは、誤ったパラメータ化、悪いツールの選択、ユーザーの意図の誤解釈によって、現実世界のツールインタラクションで失敗することが多い。 我々は、構造化推論テンプレートを利用して、関数呼び出しを生成するためのより故意なステップバイステップ命令を通してLCMをガイドするカリキュラムに着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-22T17:55:14Z)
• ToolACE-DEV: Self-Improving Tool Learning via Decomposition and EVolution [77.86222359025011]
  ツール学習のための自己改善フレームワークであるToolACE-DEVを提案する。 まず、ツール学習の目的を、基本的なツール作成とツール利用能力を高めるサブタスクに分解する。 次に、軽量モデルによる自己改善を可能にする自己進化パラダイムを導入し、高度なLCMへの依存を減らす。
  論文  参考訳（メタデータ） (2025-05-12T12:48:30Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。