論文の概要: MindWatcher: Toward Smarter Multimodal Tool-Integrated Reasoning

• arxiv url: http://arxiv.org/abs/2512.23412v1
• Date: Mon, 29 Dec 2025 12:16:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.488005
• Title: MindWatcher: Toward Smarter Multimodal Tool-Integrated Reasoning
• Title（参考訳）: MindWatcher: よりスマートなマルチモーダルツール統合型推論を目指して
• Authors: Jiawei Chen, Xintian Shen, Lihao Zheng, Zhenwei Shao, Hongyuan Zhang, Pengfei Yu, Xudong Rao, Ning Mao, Xiaobo Liu, Lian Wen, Chaoqun Du, Feng Gu, Wei He, Qizhen Li, Shanshan Li, Zide Liu, Jing Luo, Lifu Mu, Xuhao Pan, Chang Ren, Haoyi Sun, Qian Wang, Wei Wang, Hongfu Yang, Jiqing Zhan, Chunpeng Zhou, Zheng Zhou, Hao Ma, Tao Wei, Pan Zhou, Wei Chen,
• Abstract要約: 我々は、インターリーブド思考とマルチモーダル・チェーン・オブ・シークレット(CoT)推論を備えたツール統合推論エージェントであるMindWatcherを紹介する。 MindWatcherは、さまざまなツールの呼び出しと使用の調整を自律的に行うことができる。 車、動物、植物を含む8つのカテゴリをカバーする、大規模で高品質な局所画像検索データベースは、堅牢な物体認識モデルを提供する。
• 参考スコア（独自算出の注目度）: 38.775484953469004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional workflow-based agents exhibit limited intelligence when addressing real-world problems requiring tool invocation. Tool-integrated reasoning (TIR) agents capable of autonomous reasoning and tool invocation are rapidly emerging as a powerful approach for complex decision-making tasks involving multi-step interactions with external environments. In this work, we introduce MindWatcher, a TIR agent integrating interleaved thinking and multimodal chain-of-thought (CoT) reasoning. MindWatcher can autonomously decide whether and how to invoke diverse tools and coordinate their use, without relying on human prompts or workflows. The interleaved thinking paradigm enables the model to switch between thinking and tool calling at any intermediate stage, while its multimodal CoT capability allows manipulation of images during reasoning to yield more precise search results. We implement automated data auditing and evaluation pipelines, complemented by manually curated high-quality datasets for training, and we construct a benchmark, called MindWatcher-Evaluate Bench (MWE-Bench), to evaluate its performance. MindWatcher is equipped with a comprehensive suite of auxiliary reasoning tools, enabling it to address broad-domain multimodal problems. A large-scale, high-quality local image retrieval database, covering eight categories including cars, animals, and plants, endows model with robust object recognition despite its small size. Finally, we design a more efficient training infrastructure for MindWatcher, enhancing training speed and hardware utilization. Experiments not only demonstrate that MindWatcher matches or exceeds the performance of larger or more recent models through superior tool invocation, but also uncover critical insights for agent training, such as the genetic inheritance phenomenon in agentic RL.
• Abstract（参考訳）: 従来のワークフローベースのエージェントは、ツール呼び出しを必要とする現実世界の問題に対処する際に、限られた知性を示す。 自動推論とツール実行が可能なツール統合推論(TIR)エージェントは、外部環境とのマルチステップインタラクションを含む複雑な意思決定タスクのための強力なアプローチとして急速に出現している。 本稿では、インターリーブド思考とマルチモーダル・チェーン・オブ・シント(CoT)推論を統合したTIRエージェントであるMindWatcherを紹介する。 MindWatcherは、人間のプロンプトやワークフローに頼ることなく、多様なツールの呼び出しと使用の調整を自律的に行うことができる。 インターリーブド思考パラダイムは、任意の中間段階における思考とツール呼び出しを切り替えることを可能にする一方、マルチモーダルCoT機能は推論中の画像の操作を可能とし、より正確な検索結果を得る。 我々は,自動データ監査と評価パイプラインを実装し,手作業による訓練用高品質データセットを補完し,その性能を評価するために,MindWatcher-Evaluate Bench (MWE-Bench) と呼ばれるベンチマークを構築した。 MindWatcherは補助的推論ツールの包括的なスイートを備えており、幅広いドメインのマルチモーダル問題に対処することができる。 車、動物、植物を含む8つのカテゴリをカバーする大規模で高品質な局所画像検索データベースは、小型ながら頑丈な物体認識モデルを提供する。 最後に、MindWatcherのためのより効率的なトレーニングインフラを設計し、トレーニング速度とハードウェア利用率を向上させる。 実験は、MindWatcherがより優れたツール呼び出しを通じて、より大規模なモデルやより最近のモデルの性能と一致しているか、あるいは超えるかを実証するだけでなく、エージェントRLの遺伝的遺伝現象のようなエージェントトレーニングに対する重要な洞察を明らかにする。

関連論文リスト

• DeepEyesV2: Toward Agentic Multimodal Model [3.775371242454792]
  エージェントマルチモーダルモデルは、テキストやイメージを理解するだけでなく、コード実行環境やWeb検索といった外部ツールを積極的に起動し、これらの操作を推論に統合する必要がある。 本稿では,DeepEyesV2を導入し,データ構築,トレーニング方法,モデル評価の観点からエージェント型マルチモーダルモデルの構築方法について検討する。 我々は、RealX-Benchや他の代表的なベンチマーク上でDeepEyesV2を評価し、実世界の理解、数学的推論、探索集約的なタスクにおけるその効果を実証した。
  論文  参考訳（メタデータ） (2025-11-07T14:31:20Z)
• DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
  DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。 長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。 LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
  論文  参考訳（メタデータ） (2025-10-24T16:24:01Z)
• AutoTIR: Autonomous Tools Integrated Reasoning via Reinforcement Learning [17.086082843274003]
  大言語モデル(LLM)は、強力な大共振モデル(LRM)へと進化する Tool-Integrated Reasoning (TIR)は、外部ツールを組み込むことで、その機能をさらに拡張する。 ツールを適応的に選択する人間の能力に触発されて,強化学習フレームワークであるAutoTIRを紹介した。
  論文  参考訳（メタデータ） (2025-07-29T14:12:28Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
  大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
  論文  参考訳（メタデータ） (2023-03-16T01:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。