論文の概要: SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.24330v1
• Date: Tue, 30 Dec 2025 16:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.429894
• Title: SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning
• Title（参考訳）: SenseNova-MARS:強化学習によるマルチモーダルエージェント推論と検索の強化
• Authors: Yong Xien Chng, Tao Hu, Wenwen Tong, Xueheng Li, Jiandong Chen, Haojia Yu, Jiefan Lu, Hewei Guo, Hanming Deng, Chengjun Xie, Gao Huang, Dahua Lin, Lewei Lu,
• Abstract要約: SenseNova-MARSは、Multimodal Agentic Reasoning and Searchフレームワークである。 画像検索、テキスト検索、画像収穫ツールを動的に統合し、知識集約型視覚理解の課題に対処する。 SenseNova-MARSは、オープンソースの検索ときめ細かい画像理解ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 57.083359974905655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Vision-Language Models (VLMs) can solve complex tasks through agentic reasoning, their capabilities remain largely constrained to text-oriented chain-of-thought or isolated tool invocation. They fail to exhibit the human-like proficiency required to seamlessly interleave dynamic tool manipulation with continuous reasoning, particularly in knowledge-intensive and visually complex scenarios that demand coordinated external tools such as search and image cropping. In this work, we introduce SenseNova-MARS, a novel Multimodal Agentic Reasoning and Search framework that empowers VLMs with interleaved visual reasoning and tool-use capabilities via reinforcement learning (RL). Specifically, SenseNova-MARS dynamically integrates the image search, text search, and image crop tools to tackle fine-grained and knowledge-intensive visual understanding challenges. In the RL stage, we propose the Batch-Normalized Group Sequence Policy Optimization (BN-GSPO) algorithm to improve the training stability and advance the model's ability to invoke tools and reason effectively. To comprehensively evaluate the agentic VLMs on complex visual tasks, we introduce the HR-MMSearch benchmark, the first search-oriented benchmark composed of high-resolution images with knowledge-intensive and search-driven questions. Experiments demonstrate that SenseNova-MARS achieves state-of-the-art performance on open-source search and fine-grained image understanding benchmarks. Specifically, on search-oriented benchmarks, SenseNova-MARS-8B scores 67.84 on MMSearch and 41.64 on HR-MMSearch, surpassing proprietary models such as Gemini-3-Flash and GPT-5. SenseNova-MARS represents a promising step toward agentic VLMs by providing effective and robust tool-use capabilities. To facilitate further research in this field, we will release all code, models, and datasets.
• Abstract（参考訳）: VLM(Vision-Language Models)はエージェント推論によって複雑なタスクを解くことができるが、その能力はテキスト指向のチェーン・オブ・シンクや独立したツールの実行に大きく制約されている。 彼らは、動的ツール操作と継続的推論をシームレスにインターリーブするために必要な人間的な習熟度を示すことができず、特に検索や画像トリミングのような協調された外部ツールを必要とする知識集約的で視覚的に複雑なシナリオにおいてである。 本研究では,視覚的推論のインターリーブ化と強化学習(RL)によるツール利用機能を備えたVLMを支援する,新しいマルチモーダルエージェント推論・検索フレームワークであるSenseNova-MARSを紹介する。 具体的には、SenseNova-MARSは、画像検索、テキスト検索、画像収穫ツールを動的に統合し、きめ細かな知識集約的な視覚的理解課題に対処する。 RLの段階では、トレーニング安定性を改善し、ツールの呼び出しと推論を効果的に行うモデルの能力を向上させるために、Batch-Normalized Group Sequence Policy Optimization (BN-GSPO)アルゴリズムを提案する。 複雑な視覚的タスクにおけるエージェントVLMを包括的に評価するために,HR-MMSearchベンチマークを導入する。 実験により、SenseNova-MARSは、オープンソースの検索ときめ細かい画像理解ベンチマークで最先端のパフォーマンスを達成することが示された。 具体的には、検索指向のベンチマークでは、SenseNova-MARS-8BはMMSearchで67.84点、HR-MMSearchで41.64点、Gemini-3-FlashやGPT-5などのプロプライエタリモデルを上回っている。 SenseNova-MARSは、効果的で堅牢なツール使用機能を提供することによって、エージェントVLMに向けた有望なステップである。 この分野でさらなる研究を促進するため、私たちはすべてのコード、モデル、データセットをリリースします。

関連論文リスト

• Training Multi-Image Vision Agents via End2End Reinforcement Learning [51.81337984526068]
  我々は、エンドツーエンドの強化学習によって訓練されたオープンソースの視覚エージェントであるIMAgentを提案する。 マルチエージェントシステムを利用することで、困難かつ視覚的にリッチなマルチイメージQAペアを生成する。 我々は、視覚的反射と確認のための2つの特別なツールを開発し、モデルが積極的に画像コンテンツに注意を向けることを可能にする。
  論文  参考訳（メタデータ） (2025-12-05T10:02:38Z)
• WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent [68.3311163530321]
  Deep ResearchのようなWebエージェントは認知能力を示しており、高度に難解な情報検索問題を解決することができる。 このようなエージェントは知覚、論理、知識においてより強力な推論能力を必要とするため、マルチモーダルディープリサーチは非常に困難である。 本稿では,視覚言語推論機能を備えた多モードディープリサーチエージェントであるWebWatcherを紹介する。
  論文  参考訳（メタデータ） (2025-08-07T18:03:50Z)
• DynaSearcher: Dynamic Knowledge Graph Augmented Search Agent via Multi-Reward Reinforcement Learning [5.280613615397194]
  DynaSearcherは動的知識グラフとマルチリワード強化学習(RL)によって強化された革新的な検索エージェントである 検索精度, 効率, 応答品質などの学習目標を詳細に制御するために, マルチリワード RL フレームワークを用いる。 実験により,提案手法は6つのマルチホップ質問応答データセットに対して,最先端の回答精度を実現することを示す。
  論文  参考訳（メタデータ） (2025-07-23T09:58:31Z)
• MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
  MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。 本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
  論文  参考訳（メタデータ） (2025-06-25T17:59:42Z)
• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent [15.836845304125436]
  RS-Agentは、人間のユーザーと対話し、専門的なモデルを自律的に活用するように設計されたAIエージェントである。 RS-Agentは、大きな言語モデルに基づく中央コントローラ、ツール実行のための動的ツールキット、タスク固有のエキスパートガイダンスのためのソリューションスペース、ドメインレベルの推論のための知識スペースの4つの重要なコンポーネントを統合している。 9つのデータセットと18のリモートセンシングタスクにわたる大規模な実験により、RS-Agentは最先端のMLLMよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-11T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。