論文の概要: RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2506.00789v1
• Date: Sun, 01 Jun 2025 02:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.678771
• Title: RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems
• Title（参考訳）: RARE:検索機能強化システムのための検索機能付きロバストネス評価
• Authors: Yixiao Zeng, Tianyu Cao, Danqing Wang, Xinran Zhao, Zimeng Qiu, Morteza Ziyadi, Tongshuang Wu, Lei Li,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、これらのシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどのように対処するかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
• 参考スコア（独自算出の注目度）: 35.47591417637136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances recency and factuality in answers. However, existing evaluations rarely test how well these systems cope with real-world noise, conflicting between internal and external retrieved contexts, or fast-changing facts. We introduce Retrieval-Aware Robustness Evaluation (RARE), a unified framework and large-scale benchmark that jointly stress-tests query and document perturbations over dynamic, time-sensitive corpora. One of the central features of RARE is a knowledge-graph-driven synthesis pipeline (RARE-Get) that automatically extracts single and multi-hop relations from the customized corpus and generates multi-level question sets without manual intervention. Leveraging this pipeline, we construct a dataset (RARE-Set) spanning 400 expert-level time-sensitive finance, economics, and policy documents and 48,322 questions whose distribution evolves as the underlying sources change. To quantify resilience, we formalize retrieval-conditioned robustness metrics (RARE-Met) that capture a model's ability to remain correct or recover when queries, documents, or real-world retrieval results are systematically altered. Our results show that RAG systems exhibit surprising vulnerability to perturbations, with document robustness consistently being the weakest point regardless of generator size or architecture. RAG systems consistently show lower robustness on multi-hop queries than single-hop queries across all domains.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 しかし、既存の評価では、これらのシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどのように対処するかをテストすることは滅多にない。 本稿では,動的で時間に敏感なコーパスに対する問合せと文書の摂動を共同でテストする,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。 RAREの中心的な特徴の1つは、知識グラフ駆動合成パイプライン(RARE-Get)である。 このパイプラインを活用することで、400人の専門家レベルのタイムセンシティブファイナンス、経済学、政策文書、および基礎となるソースが変化するにつれて分布が進化する48,322の質問にまたがるデータセット(RARE-Set)を構築します。 レジリエンスを定量化するため,検索条件付きロバストネス指標(RARE-Met)を定式化した。 以上の結果から,RAGシステムは乱れに対して驚くほどの脆弱性を示し,文書の堅牢性は生成元のサイズやアーキテクチャによらず常に最も弱い点であることがわかった。 RAGシステムは、すべてのドメインにわたるシングルホップクエリよりも、マルチホップクエリに対するロバスト性が一貫して低い。

関連論文リスト

• Retrieval-Augmented Generation: A Comprehensive Survey of Architectures, Enhancements, and Robustness Frontiers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルを強化するための強力なパラダイムとして登場した。 RAGは、検索品質、基底忠実度、パイプライン効率、ノイズや逆入力に対する堅牢性といった新しい課題を導入している。 本調査は、RAG研究における現在の知識を集約し、次世代の検索強化言語モデリングシステムの基礎となることを目的としている。
  論文  参考訳（メタデータ） (2025-05-28T22:57:04Z)
• MIRAGE: A Metric-Intensive Benchmark for Retrieval-Augmented Generation Evaluation [8.950307082012763]
  大規模言語モデル(LLM)の生成能力向上に有効な手法として,検索拡張生成(RAG)が注目されている。 本稿では,RAG評価に特化して設計された質問応答データセットであるMIRAGEについて述べる。 MIRAGEは、37,800エントリの検索プールにマッピングされた7,560のキュレートされたインスタンスで構成され、検索と生成の両方のタスクの効率的かつ正確な評価を可能にする。
  論文  参考訳（メタデータ） (2025-04-23T23:05:46Z)
• MultiConIR: Towards multi-condition Information Retrieval [57.6405602406446]
  我々は,マルチコンディションシナリオにおける検索モデルの評価を目的とした,最初のベンチマークであるMultiConIRを紹介する。 本稿では,マルチコンディションのロバスト性,モノトニック関連性ランキング,クエリフォーマットの感度に基づいて,検索とリランクモデルの評価を行う3つのタスクを提案する。
  論文  参考訳（メタデータ） (2025-03-11T05:02:03Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Semantic Tokens in Retrieval Augmented Generation [0.0]
  本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。 このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T16:52:06Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。