論文の概要: Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment

• arxiv url: http://arxiv.org/abs/2609.08188v1
• Date: Tue, 08 Sep 2026 03:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.566207
• Title: Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment
• Title（参考訳）: ジェネレータ・イン・ザ・ループアライメントによるマルチモーダルRAGのセマンティック・ユーティリティギャップのブリッジ
• Abstract要約: 検索拡張世代(RAG)を付加した視覚言語モデル(VLM)は、外部の証拠へのアクセスから恩恵を受ける。 標準レトリバーとリランカはユーティリティに答えるよりもセマンティックな類似性を最適化し、好みのギャップを生じさせる。 文書レベルの関連アノテーションを使わずにこのギャップを埋める2段階のジェネレータ・イン・ザ・ループアライメントフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.61076424435405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) augmented with retrieval-augmented generation (RAG) benefit from access to external evidence. However, standard retrievers and rerankers optimize for semantic similarity rather than answer utility, creating a preference gap: documents that appear relevant may not help the generator produce a correct answer. Motivated by this, we propose a two-stage generator-in-the-loop alignment framework that closes this gap without human document-level relevance annotations. Our framework consists of two stages: in Stage 1, a VLM generates a hypothetical text passage from the image-query pair, which is used as the retrieval query for dense text search, bridging the image-to-text modality gap. In Stage 2, a cross-encoder reranker adapted with low-rank adaptation (LoRA) is fine-tuned using answer-supervised preference pairs mined from the frozen VLM: given the dataset answer label, a candidate document is labeled positive if the VLM produces the correct answer when given that document as context, and negative otherwise. This generator-guided signal is compatible with multiple alignment loss functions, including contrastive (triplet) loss, pairwise direct preference optimization (DPO), and supervised fine-tuning (SFT), and supports periodic re-mining to refresh preference pairs as the reranker improves. Experiments on VQA-X and A-OKVQA with Qwen3.5-2B and Qwen3-VL-4B-Instruct show that our proposed framework consistently outperforms rank-order, random, and REPLUG-style likelihood baselines under various alignment losses and pool size settings, suggesting that answer-level generator feedback is an effective supervision signal for preference alignment.
• Abstract（参考訳）: 検索拡張世代(RAG)を付加した視覚言語モデル(VLM)は、外部の証拠へのアクセスから恩恵を受ける。 しかし、標準的なレトリバーとリランカは、ユーティリティに答えるよりもセマンティックな類似性を最適化し、好みのギャップを生じさせる。 そこで本研究では,文書レベルのアノテーションを使わずに,このギャップを埋める2段階のジェネレータ・イン・ザ・ループアライメントフレームワークを提案する。 我々のフレームワークは2つの段階から構成される: ステージ1では、VLMは画像-クエリペアから仮説的なテキストパスを生成し、これは高密度テキスト検索の検索クエリとして使用され、画像-テキスト間のモダリティギャップを埋める。 ステージ2では、低ランク適応(LoRA)に適応したクロスエンコーダリランカを、凍結されたVLMから抽出した回答監督された選好ペアを用いて微調整する。 このジェネレータ誘導信号は、コントラスト(トリップレット)損失、ペアワイズ直接選好最適化(DPO)、教師付き微調整(SFT)を含む複数のアライメント損失関数と互換性があり、リランカの改善に伴い、定期的なリマイニングとリフレッシュ選好ペアをサポートする。 Qwen3.5-2B と Qwen3-VL-4B-Instruct を用いた VQA-X と A-OKVQA の実験により,提案手法は様々なアライメント損失とプールサイズ設定の下で,ランク順,ランダム,REPLUG スタイルの確率ベースラインを一貫して上回り,応答レベルのジェネレータフィードバックが優先アライメントのための効果的な監視信号であることが示唆された。

関連論文リスト

• Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning [35.54770997926101]
  Conditional Retrieval Alignment (CoRA)は、凍結エンコーダをタスク条件付きレトリバーに変換する、勾配のないフレームワークである。 出力条件付き適応表現の最適低ランク圧縮は,CoRAのランク制約基底であることを示す。 我々は,視覚表現を条件付けと検索空間に組み込むことで,マルチモーダル検索に拡張する。
  論文  参考訳（メタデータ） (2026-07-30T07:03:18Z)
• GRADRAG: Cross-Component Prompt Adaptation for Coordinated Multi-Agent RAG [0.5566372336864309]
  クロスコンポーネント・プロンプト適応のためのフレームワークであるGRADRAGを紹介する。 評価者は下流の回答を批判し、証拠を支持し、実行可能なフィードバックを生み出す。 GRADRAGをSQUALITYおよびQMSUMベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-23T13:54:38Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
  Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。 Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-06T06:17:41Z)
• Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
  提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。 本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
  論文  参考訳（メタデータ） (2026-04-19T08:39:21Z)
• RefAlign: Representation Alignment for Reference-to-Video Generation [53.368296137314225]
  RefAlignは、DiT参照ブランチ機能を視覚基礎モデルのセマンティック空間に整列する表現アライメントフレームワークである。 OpenS2V-Evalベンチマークの実験では、RefAlignがTotalScoreの最先端メソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-26T17:59:57Z)
• ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction [5.594845708011402]
  本稿では,レイアウト変換器のアテンション分布を最適化する軽量かつアーキテクチャに依存しないパイプラインであるROAPを提案する。 FUNSDおよびCORDベンチマークの実験により、ROAPはバックボーンの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-01-09T02:02:37Z)
• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• REAL: Response Embedding-based Alignment for LLMs [1.9513983244114355]
  よりあいまいな選好ペアの獲得に焦点を当てた高品質なトレーニングデータセットを構築するための戦略を提案する。 実験により、異なる応答対を選択することで、LSMの直列化が促進されることが示された。 異なるペアにフォーカスすることでラベルエラーを低減し,LLMアライメント効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-09-17T22:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。