論文の概要: VC-Tooler: Learning Compositional and Adaptive Visual Tool Use

• arxiv url: http://arxiv.org/abs/2608.02217v1
• Date: Mon, 03 Aug 2026 13:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.580464
• Title: VC-Tooler: Learning Compositional and Adaptive Visual Tool Use
• Title（参考訳）: VC-Tooler: 構成と適応的なビジュアルツールの使用を学ぶ
• Abstract要約: エージェントマルチモーダル推論は受動的画像理解を拡張する。 本稿では,合成および適応能力として視覚ツールの使用を学習するVC-Toolerを提案する。
• 参考スコア（独自算出の注目度）: 45.491241950121214
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Agentic multimodal reasoning extends passive image understanding by allowing VLMs to actively acquire and refine visual evidence through visual tool interactions. Effective visual tool use requires three capabilities: grounding tool calls in visual context, composing tools across multiple steps, and adapting reasoning to tool-returned observations. However, existing approaches largely focus on grounding within fixed tool spaces and rigid invocation patterns, leaving composition and adaptation insufficiently addressed. We present VC-Tooler, which learns visual tool use as a compositional and adaptive capability. To this end, we first build a trajectory bank through a hierarchical synthesis pipeline covering three capability levels: single-tool grounding, multi-tool composition, and diverse tool contexts and interfaces. We then train the model in two stages: a supervised cold start that establishes these capabilities, followed by reinforcement learning that encourages accurate, efficient, and context-aware visual tool use. VC-Tooler achieves state-of-the-art performance among open-source models on both general-purpose and agentic benchmarks, including $95.8\%$ on V* and $35.3\%$ on VTC-Bench, and shows promising transfer under richer tool settings at inference time. Project page: https://w1zheng.github.io/VC-Tooler
• Abstract（参考訳）: エージェントマルチモーダル推論は、視覚ツールの相互作用を通じてVLMが積極的に視覚的エビデンスを取得し、洗練することを可能にし、受動的イメージ理解を拡張している。 効果的なビジュアルツールの使用には、視覚的なコンテキストでツールコールをグラウンディングすること、複数のステップにまたがるツールを構成すること、ツールがリターンする観察に推論を適用すること、の3つの機能が必要である。 しかし、既存のアプローチは、固定されたツール空間と堅固な呼び出しパターンのグラウンド化に重点を置いており、構成と適応は不十分である。 本稿では,合成および適応能力として視覚ツールの使用を学習するVC-Toolerを提案する。 この目的のために、私たちはまず、単一ツールグラウンド、マルチツールコンポジション、多様なツールコンテキストとインターフェースの3つの機能レベルをカバーする階層的な合成パイプラインを通して軌道バンクを構築します。 次に、これらの能力を確立する教師付きコールドスタートと、正確で効率的でコンテキスト対応のビジュアルツールの使用を促進する強化学習の2段階でモデルをトレーニングします。 VC-Tooler は、V* で 95.8\% と VTC-Bench で 35.3\% を含む汎用ベンチマークとエージェントベンチマークの両方で、最先端のパフォーマンスを達成し、推論時によりリッチなツール設定の下で、有望な転送を示す。 プロジェクトページ:https://w1zheng.github.io/VC-Tooler

関連論文リスト

• OpenVisTool: An Open Recipe for Synthesizing Instructive Visual Tool-Use Trajectories [44.795764429083114]
  OpenVisToolは、視覚的ツール使用軌跡を構築するためのオープンなフレームワークである。 このフレームワークは、ツールなしでは確実に答えられないクエリを選択するのが難しいこと、ドメイン固有の軌道合成、そして監督検証の3段階で機能する。 このフレームワークを用いて、5つの視覚的推論領域にまたがるデータセットであるOpenVisTool-42Kと、同じドメインをカバーするベンチマークであるOpenVisTool-Benchを構築した。
  論文  参考訳（メタデータ） (2026-08-09T08:01:05Z)
• Visual Reasoning through Tool-supervised Reinforcement Learning [18.76805336754779]
  本稿では,より効果的なツール・ユース・ラーニングのためのツール・インシュアランス(ToolsRL)フレームワークを提案する。 ズームイン、ローテーション、フリップ、ドローポイント/ラインなど、シンプルな、ネイティブで、解釈可能な一連のビジュアルツールに重点を置いています。 強化学習カリキュラムが開発され、第1段階は、モチベーションの高いツール固有の報酬セットによってのみ最適化され、第2段階は、通話ツールを許可しながら、精度の高い目標報酬で訓練される。
  論文  参考訳（メタデータ） (2026-04-21T19:48:19Z)
• VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining [49.78591189918702]
  VisualToolChain-Bench (VTC-Bench)を導入し,マルチモーダル大言語モデル(MLLM)におけるツール使用の習熟度を評価する。 リアルなコンピュータビジョンパイプラインに合わせるために、我々のフレームワークは32種類のOpenCVベースの視覚操作を備えている。 正確な評価のために、9カテゴリの認知階層にまたがる680のキュレートされた問題を提示する。
  論文  参考訳（メタデータ） (2026-03-16T09:31:44Z)
• ToolTok: Tool Tokenization for Efficient and Generalizable GUI Agents [16.06309106596998]
  ToolTokはGUIエージェントのための多段階パスフィニングの新しいパラダイムである。 我々は,人間のインタラクションの習慣に沿ったツールを考案し,学習可能なトークン埋め込みを用いて各ツールを表現する。 トークン定義質問回答,純テキスト誘導ツールの選択,視覚的パスフィニングの3つのタスクからなる,難易度の高いカリキュラムを構築した。
  論文  参考訳（メタデータ） (2026-01-30T08:38:05Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs [76.47326680870783]
  VISTA-Gymは視覚言語モデル(VLM)におけるツール統合視覚推論能力のインセンティブ化のためのトレーニング環境である。 VISTA-Gymはビジュアルツールの標準化されたインタフェースで様々な実世界のマルチモーダル推論タスクを統合する。 VISTA-R1-8Bは、11の公開推論集約VQAベンチマークにおいて、同様のサイズで最先端のベースラインを9.51%-18.72%上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-24T22:58:26Z)
• OpenThinkIMG: Learning to Think with Images via Visual Tool Reinforcement Learning [57.89304342666846]
  OpenThinkIMGは、ツール拡張LVLMのための、最初のオープンソースで包括的なエンドツーエンドフレームワークです。 本稿では,LVLMを学習し,外部視覚ツールを起動するための適応的なポリシーを学ぶための,新しい強化学習フレームワークV-ToolRLを提案する。 V-ToolRLにより、LVLMは最適なツール利用戦略を自律的に発見できる。
  論文  参考訳（メタデータ） (2025-05-13T14:35:51Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。