論文の概要: Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2510.24870v1
• Date: Tue, 28 Oct 2025 18:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.688797
• Title: Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation
• Title（参考訳）: MiRAGEを通して見る:マルチモーダル検索拡張ジェネレーションの評価
• Authors: Alexander Martin, William Walden, Reno Kriz, Dengjia Zhang, Kate Sanders, Eugene Yang, Chihsheng Jin, Benjamin Van Durme,
• Abstract要約: マルチモーダルソースからの検索拡張生成(RAG)評価フレームワークであるMiRAGEを紹介する。 MiRAGEは、InfoF1とCiteF1で構成されるマルチモーダルRAG評価のためのクレーム中心のアプローチである。
• 参考スコア（独自算出の注目度）: 75.66731090275645
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce MiRAGE, an evaluation framework for retrieval-augmented generation (RAG) from multimodal sources. As audiovisual media becomes a prevalent source of information online, it is essential for RAG systems to integrate information from these sources into generation. However, existing evaluations for RAG are text-centric, limiting their applicability to multimodal, reasoning intensive settings because they don't verify information against sources. MiRAGE is a claim-centric approach to multimodal RAG evaluation, consisting of InfoF1, evaluating factuality and information coverage, and CiteF1, measuring citation support and completeness. We show that MiRAGE, when applied by humans, strongly aligns with extrinsic quality judgments. We additionally introduce automatic variants of MiRAGE and three prominent TextRAG metrics -- ACLE, ARGUE, and RAGAS -- demonstrating the limitations of text-centric work and laying the groundwork for automatic evaluation. We release open-source implementations and outline how to assess multimodal RAG.
• Abstract（参考訳）: マルチモーダルソースからの検索拡張生成(RAG)評価フレームワークであるMiRAGEを紹介する。 オーディオビジュアルメディアがオンラインの情報ソースとして普及するにつれて、RAGシステムはこれらの情報ソースから世代に情報を統合することが不可欠である。 しかしながら、RAGの既存の評価はテキスト中心であり、その適用性をマルチモーダルに制限し、ソースに対する情報検証ができないため、集中的な設定を推論する。 MiRAGEは、InfoF1とCiteF1で構成されるマルチモーダルRAG評価のためのクレーム中心のアプローチである。 MiRAGEは,人間によって適用された場合,外在的品質判断と強く一致していることを示す。 さらに、テキスト中心の作業の限界を実証し、自動評価のための基礎を配置する、MiRAGEと3つの著名なTextRAGメトリクス(ACLE、ARGUE、RAGAS)についても紹介する。 我々はオープンソース実装をリリースし、マルチモーダルRAGの評価方法について概説する。

関連論文リスト

• mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs [11.861763118322136]
  マルチモーダルRAGシステムを評価するためのモジュール型ベンチマークであるmmRAGを紹介する。 我々のベンチマークでは、テキスト、テーブル、知識グラフにまたがる6つの多様な問合せデータセットからのクエリを統合する。 文書関連性を注釈化し、データセット関連性を導出するための標準情報検索手順に従う。
  論文  参考訳（メタデータ） (2025-05-16T12:31:29Z)
• A Survey of Multimodal Retrieval-Augmented Generation [3.9616308910160445]
  MRAG(Multimodal Retrieval-Augmented Generation)は、マルチモーダルデータ(テキスト、画像、ビデオ)を検索および生成プロセスに統合することにより、大規模言語モデル(LLM)を強化する。 近年の研究では、MRAGは視覚とテキストの両方の理解を必要とするシナリオにおいて、従来の検索・拡張生成(RAG)よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-26T02:43:09Z)
• CoFE-RAG: A Comprehensive Full-chain Evaluation Framework for Retrieval-Augmented Generation with Enhanced Data Diversity [23.48167670445722]
  Retrieval-Augmented Generation (RAG) は、外部知識ソースから取得したコンテキストの助けを借りて、より正確で信頼性の高い回答を生成することを目的としている。 これらのシステムの評価は, 以下の問題により, 依然として重要な研究領域である。 RAGパイプライン全体にわたって徹底的な評価を容易にするために,包括的全チェーン評価(CoFE-RAG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T05:20:32Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。