論文の概要: RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG

• arxiv url: http://arxiv.org/abs/2511.04502v1
• Date: Thu, 06 Nov 2025 16:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.49849
• Title: RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG
• Title（参考訳）: RAGalyst:ドメイン特異的RAGのための自動人為的エージェント評価
• Authors: Joshua Gao, Quoc Huy Pham, Subin Varghese, Silwal Saurav, Vedhus Hoskere,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、LLM(Large Language Models)を実際に証明するための重要な手法である。 既存の評価フレームワークは多くの場合、ドメイン固有のニュアンスをキャプチャできないメトリクスに依存します。 本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) is a critical technique for grounding Large Language Models (LLMs) in factual evidence, yet evaluating RAG systems in specialized, safety-critical domains remains a significant challenge. Existing evaluation frameworks often rely on heuristic-based metrics that fail to capture domain-specific nuances and other works utilize LLM-as-a-Judge approaches that lack validated alignment with human judgment. This paper introduces RAGalyst, an automated, human-aligned agentic framework designed for the rigorous evaluation of domain-specific RAG systems. RAGalyst features an agentic pipeline that generates high-quality, synthetic question-answering (QA) datasets from source documents, incorporating an agentic filtering step to ensure data fidelity. The framework refines two key LLM-as-a-Judge metrics-Answer Correctness and Answerability-using prompt optimization to achieve a strong correlation with human annotations. Applying this framework to evaluate various RAG components across three distinct domains (military operations, cybersecurity, and bridge engineering), we find that performance is highly context-dependent. No single embedding model, LLM, or hyperparameter configuration proves universally optimal. Additionally, we provide an analysis on the most common low Answer Correctness reasons in RAG. These findings highlight the necessity of a systematic evaluation framework like RAGalyst, which empowers practitioners to uncover domain-specific trade-offs and make informed design choices for building reliable and effective RAG systems. RAGalyst is available on our Github.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を実際に証明するための重要な手法である。 既存の評価フレームワークは、しばしば、ドメイン固有のニュアンスを捉えるのに失敗するヒューリスティックなメトリクスに頼っている。 本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。 RAGalystは、ソースドキュメントから高品質で総合的な質問応答(QA)データセットを生成するエージェントパイプラインを備えており、データの忠実性を確保するためにエージェントフィルタリングのステップが組み込まれている。 このフレームワークは、2つの重要なLCM-as-a-Judgeメトリクス-Answer correctnessとAnswerability-using prompt Optimizationを洗練し、人間のアノテーションと強く相関する。 このフレームワークを適用して、3つの異なるドメイン(軍事運用、サイバーセキュリティ、ブリッジエンジニアリング)にわたる様々なRAGコンポーネントを評価することで、パフォーマンスがコンテキストに依存していることが分かりました。 単一の埋め込みモデル、LLM、ハイパーパラメータの構成は、普遍的に最適である。 さらに、RAGにおける最も一般的な低解答精度の理由について分析を行った。 RAGalystは、実践者がドメイン固有のトレードオフを明らかにし、信頼性と効果的なRAGシステムを構築するための情報設計選択を行うことを可能にする。 RAGalystはGithubで入手可能です。

関連論文リスト

• Diverse And Private Synthetic Datasets Generation for RAG evaluation: A multi-agent framework [2.102846336724103]
  Retrieval-augmented Generation (RAG) システムは、外部知識を組み込むことで、より大きな言語モデルの出力を改善する。 本研究では,RAG評価のための合成QAデータセットを生成するための新しいマルチエージェントフレームワークを導入し,セマンティック多様性とプライバシ保護を優先する。
  論文  参考訳（メタデータ） (2025-08-26T11:16:14Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• Evaluating RAG-Fusion with RAGElo: an Automated Elo-based Framework [0.5897092980823265]
  本稿では,RAG (Retrieval-Augmented Generation) Question-Answeringシステムを評価するための総合的なフレームワークを提案する。 我々はLarge Language Models (LLMs) を用いて、実際のユーザクエリとドメイン内ドキュメントに基づいて、合成クエリの大規模なデータセットを生成する。 RAGEloはヒトのアノテータの好みと正に一致しているが,注意が必要である。
  論文  参考訳（メタデータ） (2024-06-20T23:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。