論文の概要: MRAG-Suite: A Diagnostic Evaluation Platform for Visual Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2509.24253v1
• Date: Mon, 29 Sep 2025 03:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.73119
• Title: MRAG-Suite: A Diagnostic Evaluation Platform for Visual Retrieval-Augmented Generation
• Title（参考訳）: MRAG-Suite:ビジュアル検索・拡張ジェネレーションのための診断評価プラットフォーム
• Authors: Yuelyu Ji,
• Abstract要約: 多様なマルチモーダルベンチマークを統合する診断評価プラットフォームMRAG-Suiteを提案する。 本稿では,要求レベル診断ツールであるMM-RAGCheckerとともに,難易度と曖昧度を考慮したフィルタリング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.9036571490366498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Retrieval-Augmented Generation (Visual RAG) significantly advances question answering by integrating visual and textual evidence. Yet, current evaluations fail to systematically account for query difficulty and ambiguity. We propose MRAG-Suite, a diagnostic evaluation platform integrating diverse multimodal benchmarks (WebQA, Chart-RAG, Visual-RAG, MRAG-Bench). We introduce difficulty-based and ambiguity-aware filtering strategies, alongside MM-RAGChecker, a claim-level diagnostic tool. Our results demonstrate substantial accuracy reductions under difficult and ambiguous queries, highlighting prevalent hallucinations. MM-RAGChecker effectively diagnoses these issues, guiding future improvements in Visual RAG systems.
• Abstract（参考訳）: マルチモーダル検索強化生成(Visual RAG)は,視覚的およびテキスト的エビデンスを統合することで,質問応答を著しく向上させる。 しかし、現在の評価では、クエリの難しさとあいまいさを体系的に説明できない。 多様なマルチモーダルベンチマーク(WebQA, Chart-RAG, Visual-RAG, MRAG-Bench)を統合する診断評価プラットフォームMRAG-Suiteを提案する。 本稿では,要求レベル診断ツールであるMM-RAGCheckerとともに,難易度と曖昧度を考慮したフィルタリング手法を提案する。 以上の結果から,難解で曖昧な問合せの精度が著しく低下し,幻覚が顕著となった。 MM-RAGCheckerはこれらの問題を効果的に診断し、将来のVisual RAGシステムの改善を導く。

関連論文リスト

• MedRAG: Enhancing Retrieval-augmented Generation with Knowledge Graph-Elicited Reasoning for Healthcare Copilot [47.77948063906033]
  Retrieval-augmented Generation (RAG)は、プライバシーに敏感な電子健康記録を検索するのに適した手法である。 本稿では,医療領域に対する知識グラフ(KG)により強化されたRAGモデルであるMedRAGを提案する。 MedRAGはより具体的な診断の洞察を提供し、誤診率の低減に最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2025-02-06T12:27:35Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
  近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。 Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。 我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-16T23:03:27Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。