論文の概要: Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval
- arxiv url: http://arxiv.org/abs/2608.06060v1
- Date: Thu, 06 Aug 2026 14:04:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.929775
- Title: Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval
- Title（参考訳）: 失敗から学ぶ:統一型マルチモーダル検索のためのハードネガティクスによる検索中心CoT
- Abstract要約: UniME-R1は、最初に検索された候補を推論することを学ぶ組込みアドバイザフレームワークである。
UniME-R1は、強いベースライン上での検索性能を一貫して改善する。
- 参考スコア（独自算出の注目度）: 17.695551248974215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified multimodal retrieval aims to identify candidates that satisfy complex user intent expressed through heterogeneous inputs. Although Large Vision-Language Model (LVLM)-based retrievers are efficient and scalable, directly encoding raw multimodal inputs often misses fine-grained discriminative cues, leading to confusion among semantically similar candidates. Recent methods mitigate this limitation by generating Chain-of-Thought (CoT) rationales to enrich the query representation. However, such reasoning is typically derived from the query alone: it explains what the query describes, but not what the retriever misunderstands. We argue that effective retrieval reasoning should instead be conditioned on retrieval feedback. Based on this insight, we introduce UniME-R1, an embedder-adviser framework that learns to reason over initially retrieved candidates and generate Retrieval-Centric Chain-of-Thought (RC-CoT). The adviser analyzes candidates individually to identify the discriminative cues confused by the embedder. If the target appears in the initial top-k set, UniME-R1 directly reranks the candidates; otherwise, it generates RC-CoT to refine the retrieval direction and performs full-corpus re-retrieval with a dual-mode embedder. To train the framework, we mine hard negatives to simulate realistic retrieval failures, jointly optimize direct retrieval and RC-CoT-augmented retrieval, and align the adviser with retrieval outcomes through supervised learning and retrieval-oriented reinforcement learning. Extensive experiments on MMEB-V2 and a diverse set of general multimodal retrieval benchmarks demonstrate that UniME-R1 consistently improves retrieval performance over strong baselines.
- Abstract（参考訳）: 統一マルチモーダル検索は、不均一な入力によって表現される複雑なユーザ意図を満たす候補を特定することを目的としている。
LVLM(Large Vision-Language Model)ベースのレトリバーは効率的かつスケーラブルであるが、生のマルチモーダル入力を直接符号化することは、粒度の細かい識別手段を欠くことが多く、意味論的に類似した候補間で混乱をもたらす。
最近の手法では、クエリ表現を強化するためにChain-of-Thought(CoT)論理を生成することで、この制限を緩和している。
しかし、そのような推論は、典型的にはクエリのみから導かれる:クエリが何を記述しているかを説明するが、レトリバーが何を誤解しているかは説明しない。
我々は、効率的な検索推論は、代わりに、検索フィードバックに条件付けされるべきであると主張している。
この知見に基づき、まず最初に検索した候補を推論し、再帰的連鎖(RC-CoT)を生成する組込みアドバイザフレームワークであるUniME-R1を紹介する。
顧問は、各候補者を個別に分析し、埋め込み者によって混同された差別的手がかりを特定する。
最初のトップkセットにターゲットが現れると、UniME-R1は直接候補をリランクするが、そうでなければRC-CoTを生成して検索方向を洗練させ、デュアルモード埋め込み器で全コーパス再検索を行う。
このフレームワークをトレーニングするために、現実的な検索失敗をシミュレートし、直接検索とRC-CoT拡張検索を共同で最適化し、教師あり学習と検索指向強化学習を通じて、アドバイザーを検索結果と整合させる。
MMEB-V2と多種多様な汎用マルチモーダル検索ベンチマークの広範な実験により、UniME-R1は強いベースライン上での検索性能を一貫して改善することを示した。
関連論文リスト
- Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings [18.705254311226565]
Retrieval-Aware Self-Distillation (RASD) は、入力支援された証拠から特権化されたガイダンスを構築し、正の項目を検索された強陰性と区別する。
検索適応推論(RAI)は、部分CoTの残りの検索ユーティリティを推定するために、検索信頼ヘッドを使用する。
ReWAMは、競合する明示的CoT UME法の推論スループットを最大5倍にし、最先端の検索性能を実現する。
論文 参考訳（メタデータ） (2026-09-14T09:48:05Z) - SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce [4.188658309210585]
埋め込みベースの検索(EBR)はeコマース検索において重要であるが、複雑な意味論に苦しむことが多い。
近年,表現学習のための大規模言語モデル (LLM) が注目されている。
SSR-GRPO (Supervised Retrieval-GRPO with Semantic Identifiers) を提案する。
論文 参考訳（メタデータ） (2026-08-20T03:19:20Z) - Generative Universal Multimodal Retrieval with Dual-role Identifiers [1.0981910170846492]
本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。
DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
論文 参考訳（メタデータ） (2026-08-13T09:10:09Z) - MMAgent-R$^2$: Learning to Rerank and Reject for Agentic mRAG [50.46218163777298]
知識に基づくビジュアル質問回答 (KB-VQA) では、大規模百科事典の知識ベースからクエリ画像と一致する視覚エンティティを検索し、関連する質問に答える必要がある。
MMAgent-R$2$は、視覚的リランク化と能動的拒絶を内部検証機構として統合したエージェントmRAGフレームワークである。
論文 参考訳（メタデータ） (2026-07-08T13:15:39Z) - Integrating Chain-of-Thought into Generative Retrieval: A Preliminary Study [31.167867050243256]
ThinkGRは、チェーン・オブ・シークレットとドシド生成をインターリーブする統合フレームワークであり、単一の生成プロセス内で反復的な思考と検索を可能にする。
4つのマルチホップ検索ベンチマークの実験では、ThinkGRは最先端のパフォーマンスを平均で+6.86%向上した。
論文 参考訳（メタデータ） (2026-05-21T11:48:35Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - ROG: Retrieval-Augmented LLM Reasoning for Complex First-Order Queries over Knowledge Graphs [14.25887925588904]
本稿では,クエリを意識した近傍検索と大規模言語モデル(LLM)の連鎖推論を組み合わせた検索拡張フレームワークを提案する。
ROGはマルチ演算クエリを単一演算サブクエリのシーケンスに分解する。
中間回答セットはステップ間でキャッシュされ再利用され、深い推論チェーンの一貫性が向上します。
論文 参考訳（メタデータ） (2026-02-02T17:45:43Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳（メタデータ） (2025-09-08T10:58:42Z) - ConvSearch-R1: Enhancing Query Reformulation for Conversational Search with Reasoning via Reinforcement Learning [48.01143057928348]
本稿では、強化学習を活用して外部リライト管理に依存しないフレームワークであるConvSearch-R1を提案する。
新たな2段階のアプローチは,検索誘導型自己蒸留によるコールドスタート問題に対処するために,セルフ駆動型ポリシーウォームアップと,従来型の検索指標における疎度問題に対処する特別に設計されたランクインセンティブ報酬形成機構を備えた検索誘導型強化学習を組み合わせたものである。
論文 参考訳（メタデータ） (2025-05-21T17:27:42Z) - iEBAKER: Improved Remote Sensing Image-Text Retrieval Framework via Eliminate Before Align and Keyword Explicit Reasoning [80.44805667907612]
iEBAKERは、弱い相関のサンプルペアをフィルタリングする革新的な戦略である。
SAR(Sort After Reversed Retrieval)戦略の代替として,SAR(Sort After Retrieval)戦略を導入する。
キーワード明示型推論(KER)モジュールを組み込んで、微妙なキー概念の区別による有益な影響を促進する。
論文 参考訳（メタデータ） (2025-04-08T03:40:19Z) - CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。
従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。
粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。
既存のアクティブ検索手法は2つの課題に直面している。
彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。
それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
論文 参考訳（メタデータ） (2024-06-18T12:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。