論文の概要: Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG
- arxiv url: http://arxiv.org/abs/2607.10798v1
- Date: Sun, 12 Jul 2026 15:13:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.54291
- Title: Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG
- Title（参考訳）: 核融合前の信頼:QIMG-7と汚染マルチモーダルRAGのソース・アウェア・レゾリューション
- Abstract要約: マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
- 参考スコア（独自算出の注目度）: 45.88028371034407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal retrieval-augmented generation (RAG) is often evaluated with clean evidence, yet real retrieval can return topically relevant but unreliable content: false text and misleading images from corrupted metadata, entity swaps, typographic overlays, semantic edits, adversarial patches, blends, or style transfer. We introduce QIMG-7, a controlled benchmark for multimodal retrieval pollution in multi-sentence factual QA, spanning four datasets, seven image-attack families, and 16 paired clean/polluted regimes, for 1,760 evaluation rows per method. Across four generator/gate stacks, naive multimodal fusion is brittle: in the main gpt-4o-mini stack, Full-MM support drops from 0.908 with clean text to 0.490 with polluted text, often making Parametric fallback safer than retrieval. We propose source-aware trust resolution (SATR), a training-free approach that compares Parametric, Text-only, and Full-MM candidate answers and selects among candidate answers or falls back based on source reliability. The Field-Selector variant achieves the best balanced score, 0.816, improving over Full-MM by 11.7 points and over the Cascaded Router by 2.7 points. Ablations show that, in this text-first setting, explicit text-reliability modeling is the dominant driver of these gains. Overall, in text-first factual QA with multimodal retrieval conflict, our results support selective trust rather than unconditional fusion. Artifacts are available at https://github.com/SaadElDine/Trust_Before_Fusion.
- Abstract（参考訳）: マルチモーダル検索拡張世代(RAG)はクリーンなエビデンスで評価されることが多いが、実際の検索は、腐敗したメタデータ、エンティティスワップ、タイポグラフィオーバーレイ、セマンティック編集、敵パッチ、ブレンド、スタイル転送など、トロピカルに関連があるが信頼性の低いコンテンツを返すことができる。
QIMG-7は,4つのデータセット,7つのイメージアタックファミリー,16対のクリーン/汚染レジームにまたがる多文事実QAにおけるマルチモーダル検索汚染の制御ベンチマークである。
メインのgpt-4o-miniスタックでは、フルMMサポートはクリーンテキストの0.908から汚染テキストの0.490に低下し、しばしばパラメトリックのフォールバックは検索よりも安全である。
そこで我々は,Parametric, Text-only, Full-MM の候補回答を比較し,候補回答の中から候補回答を選択したり,あるいはソース信頼性に基づいてフォールバックしたりする,学習自由なアプローチであるソース認識信頼解決法 (SATR) を提案する。
フィールドセレクターの変種は最高スコア0.816を達成し、フルMMを11.7ポイント、カスケードルーターを2.7ポイント改善した。
アブレーションは、このテキストファースト設定では、明示的なテキスト信頼性モデリングがこれらの利得の主要な要因であることを示している。
総合的に,マルチモーダル検索競合を伴うテキストファーストの事実QAにおいて,無条件融合よりも選択的信頼を支持する。
アーティファクトはhttps://github.com/SaadElDine/Trust_Before_Fusion.comで入手できる。
関連論文リスト
- Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - Multiagent Protocols with Aggregated Confidence Signals [7.128020779227392]
信頼は、自然言語処理(NLP)における信頼性、監視、および下流決定タスクに使用される。
以前の作業では、メッセージの重み付け、議論のトリガー、個々のエージェントの校正に、マルチエージェント討論(MAD)内での信頼性を使用していた。
まず、まず、生の信頼信号を変換してモデル間で比較し、ソフト投票や確率融合によって組み合わせることで、最終的な回答を生成する3つのプロトコルを紹介します。
論文 参考訳（メタデータ） (2026-06-11T17:12:11Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳（メタデータ） (2026-03-12T19:18:59Z) - MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。
モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
論文 参考訳（メタデータ） (2026-03-05T21:43:02Z) - PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing [3.889218009169166]
Composed Image Retrieval (CIR) は大きな進歩を遂げているが、現在のベンチマークは1つの接地的回答に限られている。
我々は、7,635のクエリと329Kの関連判断を備えた総合的な実世界のベンチマークであるPinPointを紹介する。
論文 参考訳（メタデータ） (2026-03-04T20:55:30Z) - Exploration of Augmentation Strategies in Multi-modal Retrieval-Augmented Generation for the Biomedical Domain: A Case Study Evaluating Question Answering in Glycobiology [0.0]
マルチモーダル検索強化世代 (MM-RAG) は、接地型バイオメディカルQAを約束する。
i)図形/表をテキストに変換するのに、(ii)光学文字認識(OCR)を使わない視覚的検索を使うのに対して、いつテキストに変換するかは不明確である。
我々はこのトレードオフを、視覚的に高密度な領域であるグリコビオロジーで研究する。
論文 参考訳（メタデータ） (2025-12-18T17:35:04Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG [53.950029990391066]
マルチモーダルRAG(CoRe-MMRAG)のためのクロスソース知識textbfReconciliation
本稿では,知識ソース間の不整合を効果的に解決する新しいエンドツーエンドフレームワークを提案する。
KB-VQAベンチマークの実験では、CoRe-MMRAGはベースライン法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-06-03T07:32:40Z) - ViLBias: Detecting and Reasoning about Bias in Multimodal Content [6.710013984078675]
ViLBiasは、マルチモーダルニュースにおけるバイアスの検出と推論のためのフレームワークである。
データセットは40,945のテキストペアで構成されている。
その結果,テキストによる画像の検出精度は3～5%向上した。
論文 参考訳（メタデータ） (2024-12-22T15:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。