論文の概要: MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation
- arxiv url: http://arxiv.org/abs/2601.15487v1
- Date: Wed, 21 Jan 2026 21:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-23 21:37:20.425148
- Title: MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation
- Title（参考訳）: MiRAGE: RAG評価のためのマルチモーダルマルチホップ質問応答データセットを生成するマルチエージェントフレームワーク
- Authors: Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich,
- Abstract要約: 既存のデータセットは一般的なドメインコーパスや純粋にテキスト検索に依存していることが多い。
RAGシステム評価のためのMultiagentフレームワークであるMiRAGEを紹介する。
MiRAGEは、検証済み、ドメイン固有、マルチモーダル、マルチホップ質問応答データセットを生成するために、専門エージェントの群を編成する。
- 参考スコア（独自算出の注目度）: 0.3499870393443268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid evolution of Retrieval-Augmented Generation (RAG) toward multimodal, high-stakes enterprise applications has outpaced the development of domain specific evaluation benchmarks. Existing datasets often rely on general-domain corpora or purely textual retrieval, failing to capture the complexity of specialized technical documents where information is inextricably multimodal and reasoning requires synthesizing disjoint evidence. We address this gap by introducing MiRAGE, a Multiagent framework for RAG systems Evaluation, that leverages a collaborative swarm of specialized agents to generate verified, domain-specific, multimodal, and multi-hop Question-Answer datasets. MiRAGE orchestrates a swarm of specialized agents: a recursive context optimization loop to aggregate scattered evidence, an adversarial verifier agent to guarantee factual grounding, and an agent to recognize the expert persona and the relevant domain to mimic expert cognitive workflows. Extensive empirical evaluation across four distinct domains (regulations, finance, quantitative biology, and journalism) demonstrates that MiRAGE generates datasets with significantly higher reasoning complexity (>2.3 average hops) and factual faithfulness. Our ablation studies point that MiRAGE can be powered by LLMs if textual descriptions of the images are available. Visual grounding still remains a frontier. By automating the creation of gold standard evaluation datasets that reflect the latent thematic structure of proprietary corpora, MiRAGE provides the necessary infrastructure to rigorously benchmark the next generation information retrieval systems.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) の、マルチモーダルでハイテイクなエンタープライズアプリケーションへの急速な進化は、ドメイン固有の評価ベンチマークの開発を上回っている。
既存のデータセットは、しばしば一般的なドメインのコーパスや純粋にテキストによる検索に依存しており、情報が厳密にマルチモーダルであり、推論が相反する証拠を合成する必要がある特別な技術文書の複雑さを捉えていない。
RAGシステム評価のためのMultiagentフレームワークであるMiRAGEを導入することでこのギャップに対処する。
MiRAGEは、散在した証拠を集約する再帰的文脈最適化ループ、事実的根拠を保証する逆検証エージェント、専門家のペルソナと関連するドメインを認識して専門家の認知ワークフローを模倣するエージェントの群を編成する。
4つの異なる領域(規制、財務、定量的生物学、ジャーナリズム)にわたる広範な経験的評価は、MiRAGEが推論の複雑さ(平均ホップ数2.3)と事実に忠実なデータセットを生成することを示している。
我々のアブレーション研究は、画像のテキスト記述が利用可能であれば、MiRAGEはLLMで利用することができることを示唆している。
ビジュアルグラウンドはまだフロンティアのままだ。
プロプライエタリなコーパスの潜在テーマ構造を反映したゴールド標準評価データセットの自動作成により、MiRAGEは次世代情報検索システムを厳格にベンチマークするために必要なインフラを提供する。
関連論文リスト
- MME-RAG: Multi-Manager-Expert Retrieval-Augmented Generation for Fine-Grained Entity Recognition in Task-Oriented Dialogues [15.237473092649843]
MME-RAGは、エンティティ認識を2つの調整段階に分解するフレームワークである。
各エキスパートはKeyInfoレトリバーによってサポートされ、推論中にセマンティックに整列された、数発の例を注入し、追加のトレーニングなしで正確なドメイン適応抽出を可能にする。
CrossNER、MIT-Movie、MIT-Restaurant、および新たに構築したマルチドメインのカスタマーサービスデータセットに関する実験は、MME-RAGが最近のほとんどのドメインのベースラインよりも優れたパフォーマンスを示していることを示している。
論文 参考訳（メタデータ） (2025-11-15T13:35:55Z) - Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation [75.66731090275645]
マルチモーダルソースからの検索拡張生成(RAG)評価フレームワークであるMiRAGEを紹介する。
MiRAGEは、InfoF1とCiteF1で構成されるマルチモーダルRAG評価のためのクレーム中心のアプローチである。
論文 参考訳（メタデータ） (2025-10-28T18:21:19Z) - Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。
現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。
Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文 参考訳（メタデータ） (2025-10-17T02:33:16Z) - MSRS: Evaluating Multi-Source Retrieval-Augmented Generation [51.717139132190574]
多くの現実世界のアプリケーションは、複数のソースにまたがる情報を統合して要約する能力を必要としている。
本稿では、RAGシステムに対して異なるソース間で情報を統合するための評価ベンチマークを構築するためのスケーラブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-28T14:59:55Z) - Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳（メタデータ） (2025-06-22T16:52:48Z) - HM-RAG: Hierarchical Multi-Agent Multimodal Retrieval Augmented Generation [11.53083922927901]
HM-RAGは階層型マルチエージェントマルチモーダルRAGフレームワークである。
構造化、非構造化、グラフベースのデータ間での動的知識合成のための協調知能の先駆者である。
論文 参考訳（メタデータ） (2025-04-13T06:55:33Z) - Composed Multi-modal Retrieval: A Survey of Approaches and Applications [81.54640206021757]
複合マルチモーダル検索(CMR)は次世代技術として誕生する。
CMRは、参照視覚入力とテキスト修正を統合することで、画像やビデオをクエリすることを可能にする。
本稿では,CMRの基礎的課題,技術的進歩,応用について概説する。
論文 参考訳（メタデータ） (2025-03-03T09:18:43Z) - Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering [0.0]
化学・プロセス産業では、プロセス・フロー・ダイアグラム(PFD)とパイプ・アンド・インスツルメンテーション・ダイアグラム(P&ID)が設計、建設、保守に不可欠である。
生成型AIの最近の進歩は、ビジュアル質問回答(VQA)のプロセス図の理解と解釈の約束を示している。
本稿では,階層的かつマルチエージェントなRetrieval Augmented Generation(RAG)フレームワークを用いた,セキュアでオンプレミスなエンタープライズソリューションを提案する。
論文 参考訳（メタデータ） (2024-08-24T19:34:04Z) - A Causal-based Framework for Multimodal Multivariate Time Series
Validation Enhanced by Unsupervised Deep Learning as an Enabler for Industry
4.0 [0.0]
マルチレベルコンテキスト異常検出のための概念検証フレームワークを開発した。
長期記憶オートエンコーダの評価を成功させ、高炉の複数の資産に関連する文脈の学習された表現を検証する。
プロセス産業に適用された非教師なし根本原因分析の実現手段として、因果発見と表現学習を組み合わせた研究ロードマップが特定されている。
論文 参考訳（メタデータ） (2020-08-05T14:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。