論文の概要: Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2601.22060v1
- Date: Thu, 29 Jan 2026 17:58:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.066054
- Title: Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models
- Title（参考訳）: Vision-DeepResearch: マルチモーダル大規模言語モデルにおけるDeepResearch機能の向上
- Abstract要約: Vision-DeepResearchは、数十の推論ステップと数百のエンジンインタラクションをサポートしている。
私たちのVision-DeepResearchは、数十の推論ステップと数百のエンジンインタラクションをサポートします。
- 参考スコア（独自算出の注目度）: 87.99592946216137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) have achieved remarkable success across a broad range of vision tasks. However, constrained by the capacity of their internal world knowledge, prior work has proposed augmenting MLLMs by ``reasoning-then-tool-call'' for visual and textual search engines to obtain substantial gains on tasks requiring extensive factual information. However, these approaches typically define multimodal search in a naive setting, assuming that a single full-level or entity-level image query and few text query suffices to retrieve the key evidence needed to answer the question, which is unrealistic in real-world scenarios with substantial visual noise. Moreover, they are often limited in the reasoning depth and search breadth, making it difficult to solve complex questions that require aggregating evidence from diverse visual and textual sources. Building on this, we propose Vision-DeepResearch, which proposes one new multimodal deep-research paradigm, i.e., performs multi-turn, multi-entity and multi-scale visual and textual search to robustly hit real-world search engines under heavy noise. Our Vision-DeepResearch supports dozens of reasoning steps and hundreds of engine interactions, while internalizing deep-research capabilities into the MLLM via cold-start supervision and RL training, resulting in a strong end-to-end multimodal deep-research MLLM. It substantially outperforming existing multimodal deep-research MLLMs, and workflows built on strong closed-source foundation model such as GPT-5, Gemini-2.5-pro and Claude-4-Sonnet. The code will be released in https://github.com/Osilly/Vision-DeepResearch.
- Abstract（参考訳）: MLLM(Multimodal large language model)は、幅広い視覚タスクにおいて顕著な成功を収めている。
しかし、その内的知識の容量に制約されるため、従来の研究では、視覚的・テキスト的検索エンジンに対してMLLMを'reasoning-then-tool-call'で拡張し、広範囲な事実情報を必要とするタスクに対して実質的な利得を得ることが提案されている。
しかし、これらのアプローチは一般的に、単一のフルレベルまたはエンティティレベルのイメージクエリと少数のテキストクエリが、実際の視覚ノイズを伴うシナリオでは非現実的である質問に答えるのに必要な重要なエビデンスを取得するのに十分であると仮定して、ナイーブな設定でマルチモーダル検索を定義する。
さらに、それらはしばしば推論深度や探索幅に制限されており、様々な視覚的・テキスト的情報源から証拠を集約する必要がある複雑な問題を解くことは困難である。
そこで本研究では,マルチターン,マルチエンタリティ,マルチスケールの視覚・テキスト検索を行うマルチモーダルディープリサーチパラダイムを提案する。
私たちのVision-DeepResearchは、数十の推論ステップと数百のエンジンインタラクションをサポートします。一方、コールドスタート監視とRLトレーニングを通じて、ディープリサーチ機能をMLLMに内部化することで、強力なエンドツーエンドのマルチモーダルディープリサーチMLLMを実現します。
GPT-5、Gemini-2.5-pro、Claude-4-Sonnetのような強力なクローズドソース基盤モデル上に構築されたワークフローは、既存のマルチモーダルディープリサーチMLLMよりも大幅に優れていた。
コードはhttps://github.com/Osilly/Vision-DeepResearchで公開される。
関連論文リスト
- DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents [21.799085797512955]
マルチモーダル大言語モデル(MLLM)は、高度な視覚的理解と推論を持つ。
DeepVoyager-VLは、ループ探索のための長距離マルチモーダルディープサーチフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T07:36:48Z) - Visual-Seeker: Towards Visual-Native Multimodal Agentic Search via Active Visual Reasoning [28.70926573516569]
能動視覚推論による視覚ネイティブなマルチモーダルディープサーチエージェントであるVisual-Seekerを提案する。
我々のエージェントは精細な視覚的詳細に積極的に参加し、探索過程を通して動的に視覚的証拠を収集する。
実験は、5つの挑戦的マルチモーダル検索ベンチマークにおける最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-06-13T10:07:32Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳（メタデータ） (2026-04-14T15:40:28Z) - MTA-Agent: An Open Recipe for Multimodal Deep Search Agents [51.180338423927985]
MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。
証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。
MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
論文 参考訳（メタデータ） (2026-04-07T19:01:45Z) - VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning [22.27364585438247]
VSearcherは、マルチモーダル検索エージェントで、現実世界のWeb環境での長時間のマルチターンツールの使用を可能にする。
大規模で複雑なマルチモーダルQA質問を生成するために、反復射出データ合成パイプラインを導入する。
次に、SFT-then-RLトレーニングパイプラインを用いて、ベースマルチモーダルモデルを現実世界のWeb環境におけるマルチターンツール呼び出しが可能なエージェントに変換する。
論文 参考訳（メタデータ） (2026-03-03T09:33:22Z) - Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models [79.77807330964576]
Vision-DeepResearchシステムは複雑なビジュアルテキストのファクトフィンディングに検索エンジンを使用する。
既存のベンチマークはビジュアル検索中心ではない。
2,000のVQAインスタンスからなるVision-DeepResearchベンチマーク(VDR-Bench)を構築した。
論文 参考訳（メタデータ） (2026-02-02T14:53:11Z) - DeepMMSearch-R1: Empowering Multimodal LLMs in Multimodal Web Search [61.77858432092777]
DeepMMSearch-R1は,オンデマンドでマルチターンWeb検索が可能な,最初のマルチモーダルな大規模言語モデルである。
DeepMMSearch-R1は、画像検索をより効果的にするために、入力画像の関連する作物に基づいてWeb検索を開始することができる。
我々は、アプローチの優位性を実証するために、知識集約型ベンチマークを幅広く実施する。
論文 参考訳（メタデータ） (2025-10-14T17:59:58Z) - DeepDive: Advancing Deep Search Agents with Knowledge Graphs and Multi-Turn RL [60.47878242100153]
我々は、ディープサーチエージェントを進化させるためにDeepDiveを提示する。
オープンな知識グラフから複雑で難解な質問を自動的に合成する戦略を提案する。
深層探索によるLLMの長距離推論を強化するために, エンドツーエンドのマルチターン強化学習を適用した。
論文 参考訳（メタデータ） (2025-09-12T17:52:35Z) - MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。
まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。
我々のモデルMM-Embedはマルチモーダル検索ベンチマークM-BEIR上で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-11-04T20:06:34Z) - Needle In A Multimodal Haystack [79.81804334634408]
本稿では,従来のMLLMの長大なマルチモーダル文書の理解能力を評価するために設計された,最初のベンチマークを示す。
我々のベンチマークには、マルチモーダル検索、カウント、推論の3種類の評価タスクが含まれている。
既存のモデルには、これらのタスク、特に視覚中心の評価において、改善の余地がまだ残っていることを観察する。
論文 参考訳（メタデータ） (2024-06-11T13:09:16Z) - Can ChatGPT Detect DeepFakes? A Study of Using Multimodal Large Language Models for Media Forensics [46.99625341531352]
AI生成メディアコンテンツを指すDeepFakesは、偽情報の手段としての利用が懸念されている。
本稿では,DeepFake検出におけるマルチモーダル大言語モデル(LLM)の機能について検討する。
論文 参考訳（メタデータ） (2024-03-21T01:57:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。