論文の概要: Diversity Over Frequency: Rethinking Tool Use in Visual Chain-of-Thought Agents

• arxiv url: http://arxiv.org/abs/2606.00096v2
• Date: Tue, 02 Jun 2026 05:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 18:57:50.26367
• Title: Diversity Over Frequency: Rethinking Tool Use in Visual Chain-of-Thought Agents
• Title（参考訳）: 周波数の多様性:ビジュアル・チェーン・オブ・サート・エージェントで使用されるツールを再考する
• Abstract要約: 視覚エージェントは、微粒な証拠を組み込むために、思考の視覚連鎖の中で外部視覚ツールを使用する。 本稿では,3次元空間推論や医用視覚質問応答など,より困難な課題を探索するために,単純な視覚探索タスクを超えて進める。 モデルは、高いタスク精度を達成しながら、ツールの使用を徐々に停止する。 バニラトレーニングとツール使用促進の両方がロールアウトの多様性を減らし、ツールの使用率が向上しない理由を説明する。
• 参考スコア（独自算出の注目度）: 8.575257729172202
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Visual agents employ external visual tools within visual chains of thought to incorporate fine-grained evidence. While prior work has mainly studied these tools in visual search tasks, their role in more complex visual reasoning remains underexplored. In this paper, we move beyond simple visual search tasks to investigate more challenging tasks, including 3D spatial reasoning and medical visual question answering, where agents must integrate tool-acquired local evidence with the global context. We identify a {tool-use collapse phenomenon: models progressively stop using tools while still achieving higher task accuracy. Moreover, we observe a clear asymmetry: (i) completely eliminating tool use degrades performance, whereas (ii) incentivizing tool use yields only marginal gains despite substantially increasing usage. We find that vanilla training and tool-use encouragement both reduce rollout diversity, explaining why higher tool use does not yield stronger reasoning performance. Motivated by these findings, we add an entropy regularization term to encourage diverse rollout exploration, achieving the best performance despite gradually declining tool usage. Overall, our findings suggest a training-time view of tools as scaffolding, where broader exploration over language generation and visual tool invocation improves reasoning despite tool-use collapse. Project page: https://scaffolded-exploration.github.io
• Abstract（参考訳）: 視覚エージェントは、微粒な証拠を組み込むために、思考の視覚連鎖の中で外部視覚ツールを使用する。 以前の研究は主に視覚検索タスクにおいてこれらのツールを研究してきたが、より複雑な視覚的推論におけるそれらの役割はいまだに解明されていない。 本稿では,3次元空間推論や医用視覚質問応答など,簡単なビジュアル検索タスクを超えて,エージェントがツール獲得したローカルエビデンスをグローバルな文脈に統合しなければならない課題について検討する。 モデルでは,タスクの精度を向上しながら,ツールの使用を徐々に停止させる。 さらに、明確な非対称性を観察する。 (i)ツールの使用が性能を低下させるのに対し、完全に排除する (二)ツール使用のインセンティブは、使用量が著しく増加したにもかかわらず、限界利得しか得られない。 バニラトレーニングとツール使用促進の両方がロールアウトの多様性を減らし、ツールの使用率が向上しない理由を説明する。 これらの結果から,多種多様なロールアウト探索を促進するために,エントロピー正規化項を追加し,ツール使用率の低下にもかかわらず,最高の性能を達成した。 全体としては,ツールを足場としてトレーニングする時間的視点が示唆され,言語生成や視覚的ツールの実行に関する広範な調査が,ツール使用の崩壊にもかかわらず推論を改善する。 プロジェクトページ: https://scaffolded-exploration.github.io

関連論文リスト

• ToolAnchor: Anchoring Counterfactual Context to Boost Agentic Tool-use Capability [16.62013823879194]
  ツール拡張された大きな言語モデルエージェントは、長い水平タスクで優れているが、固定されたツールセットで後トレーニングされるのが一般的である。 このようなツールセット拡張問題における中核的障害を行動慣性とみなす。 批判的決定点に反事実的アンカーコンテキストを注入することは、この慣性を損なうことを実証する。
  論文  参考訳（メタデータ） (2026-07-14T06:03:39Z)
• SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
  大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。 Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。 我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2026-06-15T11:37:37Z)
• Visual Reasoning through Tool-supervised Reinforcement Learning [18.76805336754779]
  本稿では,より効果的なツール・ユース・ラーニングのためのツール・インシュアランス(ToolsRL)フレームワークを提案する。 ズームイン、ローテーション、フリップ、ドローポイント/ラインなど、シンプルな、ネイティブで、解釈可能な一連のビジュアルツールに重点を置いています。 強化学習カリキュラムが開発され、第1段階は、モチベーションの高いツール固有の報酬セットによってのみ最適化され、第2段階は、通話ツールを許可しながら、精度の高い目標報酬で訓練される。
  論文  参考訳（メタデータ） (2026-04-21T19:48:19Z)
• The Tool Illusion: Rethinking Tool Use in Web Agents [60.49303190288166]
  我々は、広範囲かつ慎重に制御された研究を通じて、Webエージェントにおけるツールの使用を再考する。 いずれの結論も事前の結論を再検討し, より広範な証拠で他の結論を補完した。
  論文  参考訳（メタデータ） (2026-04-03T21:18:26Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• Transductive Visual Programming: Evolving Tool Libraries from Experience for Spatial Reasoning [63.071280297939005]
  提案するTransductive Visual Programming (TVP, Transductive Visual Programming) は、投機ではなく、独自の経験から新しいツールを構築する新しいフレームワークである。 TVPは最先端のパフォーマンスを達成し、GPT-4oを22%上回り、以前の最高のビジュアルプログラミングシステムを11%上回っている。 私たちの研究は、自己進化型ビジュアルプログラミングエージェントを構築するための強力なパラダイムとして、経験駆動型トランスダクティブツールの作成を確立します。
  論文  参考訳（メタデータ） (2025-12-24T04:30:21Z)
• ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
  外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。 このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。 構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-09T04:11:16Z)
• Tool Graph Retriever: Exploring Dependency Graph-based Tool Retrieval for Large Language Models [43.50789219459378]
  ツール間の依存関係を利用して、検索のためのより良いツール表現を学習するツールグラフ検索(TGR)を提案する。 まず、TDI300Kと呼ばれるデータセットを構築し、ツール依存を識別するための識別器を訓練する。 そして、すべての候補ツールをツール依存グラフとして表現し、グラフ畳み込みを使って依存関係を表現に統合します。
  論文  参考訳（メタデータ） (2025-08-07T08:36:26Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Enhancing Tool Retrieval with Iterative Feedback from Large Language Models [9.588592185027455]
  大規模言語モデル(LLM)は、コンテキスト内学習や微調整を通じて、ある程度のツールを効果的に扱うことができる。 現実のシナリオでは、ツールの数は一般的に広範囲で不規則に更新され、専用のツール検索コンポーネントの必要性を強調している。 本稿では,大規模言語モデルからの反復的なフィードバックでツール検索を強化することを提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:12:01Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。