論文の概要: RACE: Learning Multimodal Search through Referential Abstraction and Compositional Evidence

• arxiv url: http://arxiv.org/abs/2610.28382v1
• Date: Tue, 20 Oct 2026 15:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.888974
• Title: RACE: Learning Multimodal Search through Referential Abstraction and Compositional Evidence
• Title（参考訳）: RACE: 参照抽象化と合成エビデンスによるマルチモーダル検索の学習
• Abstract要約: マルチモーダル検索エージェントの訓練には、答えを決定するのに視覚的に接地された検索を必要とする。 本稿では,画像からターゲットへの依存性と,ターゲット固有の証拠から回答までを構成する,画像条件付きタスク合成フレームワーク RACE を提案する。
• 参考スコア（独自算出の注目度）: 11.116261393596146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training multimodal search agents requires tasks that make visually grounded search necessary for determining the answer. Textual identity clues and unused target evidence allow shortcuts in synthetic questions, weakening supervision for visual search and evidence integration. We propose RACE, an image-conditioned task synthesis framework that constructs dependencies from images to targets and from target-specific evidence to answers. Referential Abstraction (RA) replaces identity-revealing text with specific visual references or ambiguous relational references resolved by searching among depicted candidates. Compositional Evidence (CE) links retrieved facts about multiple entities in one image or entities from different images into joint questions whose answers require every designated contribution. Both operations also apply to images found during search, allowing new visual observations to determine subsequent search targets or supply answer evidence. Fine-tuning Qwen3.5-27B on only 12K teacher-generated trajectories from RACE raises average accuracy across ten multimodal benchmarks from 53.5 to 56.0, a relative improvement of approximately 4.7% over the matched base agent. Our code, data, and model will be publicly available.
• Abstract（参考訳）: マルチモーダル検索エージェントの訓練には、答えを決定するのに視覚的に接地された検索を必要とする。 テキストのアイデンティティの手がかりと未使用のターゲットエビデンスにより、合成質問のショートカットが可能になり、ビジュアル検索とエビデンス統合の監督が弱まる。 本稿では,画像からターゲットへの依存性と,ターゲット固有の証拠から回答までを構成する,画像条件付きタスク合成フレームワーク RACE を提案する。 Referential Abstraction (RA) は、特定の視覚的参照や、表現された候補を検索することで解決された曖昧な関係参照に置き換える。 コンポジション・エビデンス(CE)は、1つの画像内の複数の実体、または異なる画像からの実体に関する検索された事実を、すべての指定されたコントリビューションを必要とする共同質問にリンクする。 どちらの操作も、検索中に見つかった画像にも適用され、新しい視覚的観察によって検索対象を判断したり、答えの証拠を提供したりすることができる。 微調整された Qwen3.5-27B は RACE の12K の教師生成軌道上で平均精度を 53.5 から 56.0 に引き上げる。 私たちのコード、データ、モデルは公開されます。

関連論文リスト

• WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
  WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。 WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。 また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-08-28T08:28:43Z)
• REVERSE: Reinforcing Evidence Verification and Search for Agentic Image geo-localization [15.44857530497746]
  私たちはREVERSEという3つの中間的決定(見るべき場所、問い合わせすべき場所、信頼すべき証拠)を教えるフレームワークを紹介します。 オフラインの検索キャッシュは、強化学習中に検索観察を安定して再利用し、ノイズの多い検索結果に対する厳密な監視を可能にする。 4Bモデルでは、REVERSEは強力な検索強化ベースラインを上回り、Im2GPS3kとYFCC4kではかなり大きなモデルと競合する。
  論文  参考訳（メタデータ） (2026-05-26T11:20:09Z)
• Do Composed Image Retrieval Benchmarks Require Multimodal Composition? [86.99911649534795]
  合成画像検索ベンチマークでは,マルチモーダルな構成が必要であると推定される。 4つの広く使用されているCIRベンチマークと11のジェネリストマルチモーダルエンベディングモデルで、クエリの大部分が単一モードで解決できる。 CIRの性能は、真のマルチモーダル合成ではなく、単一モーダル信号から生じる。
  論文  参考訳（メタデータ） (2026-05-14T12:56:36Z)
• DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
  本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。 モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。 DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
  論文  参考訳（メタデータ） (2026-02-11T12:51:10Z)
• UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries [3.6723140587841656]
  Image-Guided Retrieval with Optional Text (IGROT) は、クエリがアンカーイメージで構成され、テキストに付随するか否かに関わらず、意味論的に関連付けられたターゲットイメージを検索する一般的な検索設定である。 本研究では,低データ管理下でIGROTに対処するため,Null-textプロンプトでイメージを融合させる軽量で汎用的なターゲット表現であるUNIONを導入する。
  論文  参考訳（メタデータ） (2025-11-27T09:28:28Z)
• Composed Object Retrieval: Object-level Retrieval via Composed Expressions [71.47650333199628]
  Composed Object Retrieval (COR)は、画像レベルの検索を超えてオブジェクトレベルの精度を達成するための新しいタスクである。 COR127KはCORの最初の大規模ベンチマークであり、408カテゴリの様々な意味変換を持つ127,166個の検索三重項を含む。 また、参照領域エンコーディング、適応型視覚・テキストインタラクション、および領域レベルのコントラスト学習を統合した統合エンドツーエンドモデルであるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-06T13:11:40Z)
• A Visual Active Search Framework for Geospatial Exploration [36.31732056074638]
  多くの問題は、航空画像によって支援された地理空間探索の形式と見なすことができる。 我々は3つの重要な入力を持つ視覚的能動探索(VAS)フレームワークでこの問題をモデル化する。 完全注釈付き検索タスクの集合からメタ検索ポリシーを学習するVASのための強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T21:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。