論文の概要: Self-Evolving Visual Agent via Margin Reward

• arxiv url: http://arxiv.org/abs/2610.15084v1
• Date: Sat, 10 Oct 2026 17:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.161604
• Title: Self-Evolving Visual Agent via Margin Reward
• Title（参考訳）: マージン・リワードによる自己進化型視覚エージェント
• Abstract要約: 効果的なツールの実行を学ぶには、通常、キュレートされた質問と回答のペアや、大規模な専門家によるデモンストレーションに頼ります。 ラベルのない画像から学習ツールの実行を可能にする自己進化型アプローチであるMarvoを提案する。 Marvo は,(1) ラベルのない画像から質問対を生成する挑戦者,(2) 強化学習を通じて質問を解き,ツールの実行を学習する問題解決者,の2つのエージェントから構成される。
• 参考スコア（独自算出の注目度）: 49.33286002904817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual agents that interleave reasoning with tool invocation have posed a promising direction for multimodal tasks. However, learning effective tool invocation usually relies on curated question-answer pairs or expert demonstrations at scale, which are expensive to acquire. In this study, we propose Marvo, a simple-yet-effective self-evolution approach that enables learning tool invocation from unlabeled images. Marvo consists of two agents: (1) a challenger that generates question-answer pairs from unlabeled images, and (2) a solver that learns tool invocation by solving questions through reinforcement learning. To encourage effective tool invocation, a good training question should be difficult enough to warrant tool use, yet remain within the solver's capabilities. To this end, we introduce a margin reward to the challenger, defined as solver's performance difference with and without access to tools. With the margin reward, we create an adaptive curriculum that encourages the solver to learn effective tool invocation. Across benchmarks covering agentic reasoning, visual search, mathematical, and general real-world reasoning, Marvo improves average accuracy by up to 7.1\% --- demonstrating margin reward as a preferred way to scale question complexity without human supervision.
• Abstract（参考訳）: ツール呼び出しによる推論をインターリーブするビジュアルエージェントは、マルチモーダルタスクにおいて有望な方向性を示している。 しかし、効果的なツールの実行を学ぶには、通常、キュレートされた質問応答ペアや、大規模な専門家によるデモンストレーションに頼っている。 本研究では,ラベルなし画像からの学習ツールの実行を可能にする,単純かつ効果的な自己進化手法であるMarvoを提案する。 Marvo は,(1) ラベルのない画像から質問対を生成する挑戦者,(2) 強化学習を通じて質問を解き,ツールの実行を学習する問題解決者,の2つのエージェントから構成される。 効果的なツール実行を促進するために、優れたトレーニング質問は、ツールの使用を保証できるほど難しいが、解決者の能力内に留まるべきである。 この目的のために,ツールの使用の有無に関わらず,解決者の性能差として定義されたチャレンジャーにマージン報酬を導入する。 マージンの報奨により、問題解決者が効果的なツールの実行を学ぶことを奨励する適応的なカリキュラムを作成します。 エージェント的推論、ビジュアルサーチ、数学的推論、そして一般的な現実世界の推論をカバーするベンチマークで、Marvoは平均精度を最大7.1\%改善している。

関連論文リスト

• Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act [38.40533345940731]
  大規模言語モデル(LLM)エージェントは、外部ツールによる自然言語推論をますますインターリーブする。 RLを訓練したエージェントが、ツール選択ポリシーをいつ、なぜ学習するかについて検討する。
  論文  参考訳（メタデータ） (2026-09-14T19:31:04Z)
• FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification [41.86420087238674]
  近年の研究では、エージェント型視覚言語モデルがツールを不信に利用することが多いことが判明している。 マルチエージェントの自己判断フレームワークであるFaithEyesを紹介する。 FaithEyesは、視覚知覚と推論ベンチマークの間で、競争力または優れた精度を達成する。
  論文  参考訳（メタデータ） (2026-07-30T13:58:08Z)
• Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning [44.46498720264651]
  本稿では,各クエリの特徴に応じてツールを呼び出すかどうかを適応的に決定するモデルであるAutoToolを紹介する。 強化学習フレームワーク内では、モード固有の報酬関数を持つ明示的な二重モード推論戦略を設計する。 実験により、AutoToolは優れた性能と高い効率を示すことが示された。
  論文  参考訳（メタデータ） (2026-05-19T13:44:26Z)
• SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning [57.083359974905655]
  SenseNova-MARSは、Multimodal Agentic Reasoning and Searchフレームワークである。 画像検索、テキスト検索、画像収穫ツールを動的に統合し、知識集約型視覚理解の課題に対処する。 SenseNova-MARSは、オープンソースの検索ときめ細かい画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-30T16:31:45Z)
• Training Multi-Image Vision Agents via End2End Reinforcement Learning [51.81337984526068]
  我々は、エンドツーエンドの強化学習によって訓練されたオープンソースの視覚エージェントであるIMAgentを提案する。 マルチエージェントシステムを利用することで、困難かつ視覚的にリッチなマルチイメージQAペアを生成する。 我々は、視覚的反射と確認のための2つの特別なツールを開発し、モデルが積極的に画像コンテンツに注意を向けることを可能にする。
  論文  参考訳（メタデータ） (2025-12-05T10:02:38Z)
• Self-Challenging Language Model Agents [98.62637336505242]
  本稿では,エージェントが自ら生成する高品質なタスクについて,エージェントを訓練するためのセルフチェンジフレームワークを提案する。 このフレームワークは、Llama-3.1-8B-Instructの2倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-06-02T14:23:33Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。