論文の概要: ModalSearcher: Weaving Visual Evidence into Autonomous Cross-Modal Deep Search

• arxiv url: http://arxiv.org/abs/2611.06131v1
• Date: Wed, 04 Nov 2026 08:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.023561
• Title: ModalSearcher: Weaving Visual Evidence into Autonomous Cross-Modal Deep Search
• Title（参考訳）: ModalSearcher: ビジュアルエビデンスを自律的なクロスモーダルディープサーチに織り込む
• Abstract要約: 既存のマルチモーダルエージェント探索法は、入力や事前に定義された軌道位置の視覚的証拠を修正することが多い。 我々は,インターリーブ型マルチモーダル知識グラフを構築するためのスケーラブルな手法であるModalSearch-Pipelineを提案する。 実験の結果、ModalSearcher-8BはQwen3-VL-8Bよりも平均精度を16.2ポイント向上した。
• 参考スコア（独自算出の注目度）: 32.11194576218138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static and incomplete parametric knowledge limits the performance of multimodal large language models on novel-knowledge and knowledge-intensive tasks, especially those requiring multi-hop evidence acquisition. Existing multimodal agentic search methods often fix visual evidence at the input or a predefined trajectory position, making it difficult for agents to select search modalities as their information needs evolve and to handle complex real-world queries. We define this capability as autonomous cross-modal search: an agent chooses among direct reasoning, text-to-text search, text-to-image search, and reverse-image search, actively introduces visual evidence when appropriate, and switches between and integrates modalities across multiple hops. We propose ModalSearch-Pipeline, a scalable procedure for constructing an interleaved multimodal knowledge graph. It samples paths with diverse depths and modality compositions and uses backward question construction to obscure entity names and image targets that would expose reasoning shortcuts while retaining necessary disambiguating clues, yielding text-only, image-initialized, and arbitrarily interleaved multi-hop problems. We train the ModalSearcher Agent with supervised fine-tuning and reinforcement learning in a live Web environment, and construct ModalSearch-Bench. Experiments show that ModalSearcher-8B improves average accuracy by 16.2 points over Qwen3-VL-8B under the same agentic workflow across five multimodal knowledge-intensive QA benchmarks, with consistent gains on independently constructed active visual-search benchmarks.
• Abstract（参考訳）: 静的かつ不完全なパラメトリック知識は、新しい知識と知識集約的なタスク、特にマルチホップエビデンス獲得を必要とするタスクにおけるマルチモーダルな大規模言語モデルの性能を制限する。 既存のマルチモーダルエージェントサーチ手法は、入力や事前に定義された軌道位置の視覚的証拠を固定することが多く、エージェントが情報が必要なときに探索モダリティを選択するのが難しく、複雑な現実世界のクエリを扱うのが困難である。 エージェントは直接推論、テキスト・ツー・テキスト検索、テキスト・ツー・イメージ検索、リバース・イメージ検索を選択し、適切であれば視覚的証拠を積極的に導入し、複数のホップ間でモダリティを切り替え、統合する。 我々は,インターリーブ型マルチモーダル知識グラフを構築するためのスケーラブルな手法であるModalSearch-Pipelineを提案する。 様々な深さとモダリティの組成を持つパスをサンプリングし、不明瞭なエンティティ名とイメージターゲットに後方質問構築を使用し、不明瞭なヒントを保持しながら、テキストのみを出力し、画像初期化し、任意にインターリーブされたマルチホップ問題を保持しながら、推論のショートカットを公開する。 我々は、ライブWeb環境における微調整と強化学習を指導したModalSearcher Agentを訓練し、ModalSearch-Benchを構築する。 実験の結果、ModalSearcher-8Bは5つのマルチモーダル知識集約型QAベンチマークで同じエージェントワークフローの下でQwen3-VL-8Bよりも平均精度を16.2ポイント向上し、独立に構築されたアクティブビジュアル検索ベンチマークでは一貫した利得が得られた。

関連論文リスト

• Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
  本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。 エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。 提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
  論文  参考訳（メタデータ） (2026-04-14T15:40:28Z)
• MTA-Agent: An Open Recipe for Multimodal Deep Search Agents [51.180338423927985]
  MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。 証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。 MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
  論文  参考訳（メタデータ） (2026-04-07T19:01:45Z)
• VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning [22.27364585438247]
  VSearcherは、マルチモーダル検索エージェントで、現実世界のWeb環境での長時間のマルチターンツールの使用を可能にする。 大規模で複雑なマルチモーダルQA質問を生成するために、反復射出データ合成パイプラインを導入する。 次に、SFT-then-RLトレーニングパイプラインを用いて、ベースマルチモーダルモデルを現実世界のWeb環境におけるマルチターンツール呼び出しが可能なエージェントに変換する。
  論文  参考訳（メタデータ） (2026-03-03T09:33:22Z)
• DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
  本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。 モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。 DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
  論文  参考訳（メタデータ） (2026-02-11T12:51:10Z)
• DeepMMSearch-R1: Empowering Multimodal LLMs in Multimodal Web Search [61.77858432092777]
  DeepMMSearch-R1は,オンデマンドでマルチターンWeb検索が可能な,最初のマルチモーダルな大規模言語モデルである。 DeepMMSearch-R1は、画像検索をより効果的にするために、入力画像の関連する作物に基づいてWeb検索を開始することができる。 我々は、アプローチの優位性を実証するために、知識集約型ベンチマークを幅広く実施する。
  論文  参考訳（メタデータ） (2025-10-14T17:59:58Z)
• MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents [78.3863007028688]
  MM-BrowseCompは、224の挑戦的で手作りの質問からなる新しいベンチマークである。 これらの質問は、しばしば画像にプロンプトを組み込むが、検索と推論の過程で遭遇する重要な情報は、Webページ上の画像やビデオにも埋め込まれることがある。 MM-BrowseCompによる最先端モデルの総合評価では、OpenAI o3のようなツールを用いたトップモデルでさえ、わずか29.02%の精度しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-08-14T13:46:47Z)
• MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
  MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。 本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
  論文  参考訳（メタデータ） (2025-06-25T17:59:42Z)
• Smart Multi-Modal Search: Contextual Sparse and Dense Embedding Integration in Adobe Express [3.8973445113342433]
  スケーラブルなマルチモーダル検索システムを構築するには、いくつかのコンポーネントを微調整する必要がある。 埋め込みモデル選択、マッチングとランク付けにおける埋め込みの役割、密着と疎着のバランス等について考察する。
  論文  参考訳（メタデータ） (2024-08-26T23:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。