論文の概要: Automating Multi-Hop RAG Evaluation via TRIAD: From Context Extraction to Validated Dataset Generation
- arxiv url: http://arxiv.org/abs/2608.21558v1
- Date: Fri, 21 Aug 2026 18:46:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.271341
- Title: Automating Multi-Hop RAG Evaluation via TRIAD: From Context Extraction to Validated Dataset Generation
- Title（参考訳）: TRIADによるマルチホップRAG評価の自動化:コンテキスト抽出から検証データセット生成へ
- Abstract要約: 既存のデータセットは、ウィキペディアベースの知識に基づいて現在のRAGシステムに挑戦する。
RAGシステムの品質を総合的に評価するには、マルチホップクエリと解決不可能な質問の両方が必要である。
本稿では,3段階の自動データセット生成手法であるTRIADを紹介する。
- 参考スコア（独自算出の注目度）: 21.656551146954587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in LLMs and the adoption of RAG systems in industry have created a need for domain-specific question-answer datasets that can assess RAG performance on proprietary data. Existing datasets, such as HotpotQA, challenge current RAG systems on Wikipedia-based knowledge, but they cannot be transferred directly to domain-specific settings. A comprehensive evaluation of RAG system quality requires both multi-hop queries and unanswerable questions. This paper introduces TRIAD, a three-stage automated dataset generation approach. First, it generates question--answer (QA) pairs for the domain-specific knowledge base of a RAG system. Second, a validator checks each QA-pair in a feedback loop. Third, the QA pairs are extended with relevance-labeled context documents for downstream evaluation. We evaluate this approach against the established MuSiQue and HotpotQA datasets. The results show that the generated dataset exhibits similar performance trends across different RAG setups, while human validation indicates that the questions are suitable for evaluating a domain-specific RAG system. The code used to generate the dataset and all validation results are available in our GitHub repository(https://github.com/lorenzbrehme/triad).
- Abstract（参考訳）: LLMの最近の進歩と産業におけるRAGシステムの採用は、独自のデータに基づいてRAGのパフォーマンスを評価することのできるドメイン固有の質問応答データセットの必要性を生み出している。
HotpotQAのような既存のデータセットは、ウィキペディアベースの知識に基づいて現在のRAGシステムに挑戦するが、ドメイン固有の設定に直接転送することはできない。
RAGシステムの品質を総合的に評価するには、マルチホップクエリと解決不可能な質問の両方が必要である。
本稿では,3段階の自動データセット生成手法であるTRIADを紹介する。
まず、RAGシステムのドメイン固有の知識ベースに対する質問応答(QA)ペアを生成する。
次に、バリケータはフィードバックループで各QAペアをチェックする。
第3に、QAペアは、下流評価のための関連ラベル付きコンテキスト文書で拡張される。
確立した MuSiQue および HotpotQA データセットに対して,このアプローチを評価する。
その結果、生成されたデータセットは、異なるRAGセットアップ間で同様のパフォーマンス傾向を示し、人間による検証は、ドメイン固有のRAGシステムを評価するのに適していることを示している。
データセットとすべての検証結果を生成するために使用されるコードは、GitHubリポジトリで利用可能です(https://github.com/lorenzbrehme/triad)。
関連論文リスト
- RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。
RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
論文 参考訳（メタデータ） (2025-10-11T03:06:39Z) - QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。
RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。
本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
論文 参考訳（メタデータ） (2025-01-06T01:07:59Z) - OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。
我々のベンチマークは多次元評価フレームワークによって特徴づけられる。
実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
論文 参考訳（メタデータ） (2024-12-17T15:38:42Z) - Toward General Instruction-Following Alignment for Retrieval-Augmented Generation [63.611024451010316]
Retrieval-Augmented Generation (RAG) システムの効果的な適用には、自然な指示に従うことが不可欠である。
RAGシステムにおける命令追従アライメントのための,最初の自動化,拡張性,検証可能な合成パイプラインであるVIF-RAGを提案する。
論文 参考訳（メタデータ） (2024-10-12T16:30:51Z) - RAGProbe: An Automated Approach for Evaluating RAG Applications [1.38012307221604]
Retrieval Augmented Generation (RAG)は、ジェネレーティブAIアプリケーションを構築する際にますます利用されている。
本稿では,RAGパイプラインの故障を誘発する質問応答ペアのバリエーションを生成する手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T23:33:07Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA [5.0108982850526]
検索拡張生成(RAG)は、外部データベースから事実情報を抽出することにより、生成AIモデルの精度と信頼性を高める。
本稿では、EDAツールドキュメンテーションQAのための3つのドメイン固有のテクニックとともに、カスタマイズされたRAGフレームワークを提案する。
我々は,高度なRTL-to-GDSII設計プラットフォームであるOpenROADのドキュメントQA評価ベンチマークであるORD-QAを開発し,リリースした。
論文 参考訳（メタデータ） (2024-07-22T03:44:27Z) - RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。
RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。
TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
論文 参考訳（メタデータ） (2024-06-25T20:23:15Z) - Retrieval Augmented Generation Systems: Automatic Dataset Creation,
Evaluation and Boolean Agent Setup [5.464952345664292]
Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。
本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
論文 参考訳（メタデータ） (2024-02-26T12:56:17Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳（メタデータ） (2024-01-30T14:25:32Z) - ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。
ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。
コードとデータセットをGithubで公開しています。
論文 参考訳（メタデータ） (2023-11-16T00:39:39Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。