論文の概要: Knowledge-Graph Based RAG System Evaluation Framework

• arxiv url: http://arxiv.org/abs/2510.02549v1
• Date: Thu, 02 Oct 2025 20:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.167056
• Title: Knowledge-Graph Based RAG System Evaluation Framework
• Title（参考訳）: 知識グラフに基づくRAGシステム評価フレームワーク
• Authors: Sicheng Dong, Vahid Zolfaghari, Nenad Petrovic, Alois Knoll,
• Abstract要約: 大規模言語モデル(LLM)は重要な研究対象となっている。 Retrieval Augmented Generation (RAG)は、生成したコンテンツの信頼性と関連性を大幅に向上させる。 RAGシステムの評価は依然として難しい課題である。
• 参考スコア（独自算出の注目度）: 27.082302648704708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) has become a significant research focus and is utilized in various fields, such as text generation and dialog systems. One of the most essential applications of LLM is Retrieval Augmented Generation (RAG), which greatly enhances generated content's reliability and relevance. However, evaluating RAG systems remains a challenging task. Traditional evaluation metrics struggle to effectively capture the key features of modern LLM-generated content that often exhibits high fluency and naturalness. Inspired by the RAGAS tool, a well-known RAG evaluation framework, we extended this framework into a KG-based evaluation paradigm, enabling multi-hop reasoning and semantic community clustering to derive more comprehensive scoring metrics. By incorporating these comprehensive evaluation criteria, we gain a deeper understanding of RAG systems and a more nuanced perspective on their performance. To validate the effectiveness of our approach, we compare its performance with RAGAS scores and construct a human-annotated subset to assess the correlation between human judgments and automated metrics. In addition, we conduct targeted experiments to demonstrate that our KG-based evaluation method is more sensitive to subtle semantic differences in generated outputs. Finally, we discuss the key challenges in evaluating RAG systems and highlight potential directions for future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成やダイアログシステムといった様々な分野において、重要な研究対象となっている。 LLMの最も重要な応用の1つは、生成したコンテンツの信頼性と関連性を大幅に向上させる検索拡張生成(RAG)である。 しかし、RAGシステムの評価は依然として難しい課題である。 従来の評価基準は、しばしば高頻度と自然性を示す近代的なLCM生成コンテンツの主要な特徴を効果的に捉えるのに苦労している。 有名なRAG評価フレームワークであるRAGASツールに触発されて、我々はこのフレームワークをKGベースの評価パラダイムに拡張し、マルチホップ推論とセマンティック・コミュニティ・クラスタリングにより、より包括的な評価指標を導出できるようにしました。 これらの総合評価基準を取り入れることで、RAGシステムに対する深い理解と、それらの性能に関するより曖昧な視点を得ることができる。 提案手法の有効性を検証するため,その性能をRAGASスコアと比較し,人的判断と自動測定値の相関性を評価するための人的注釈付きサブセットを構築した。 さらに,KGに基づく評価手法が,生成した出力の微妙な意味的差異に対してより敏感であることを示すために,ターゲット実験を行った。 最後に,RAGシステム評価における課題について論じ,今後の研究の方向性を明らかにする。

関連論文リスト

• Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger [51.01841635655944]
  大規模視覚言語モデル(LVLM)の最近の進歩は、視覚質問応答(VQA)タスクのパフォーマンスを著しく改善している。 既存の手法は、推論例による知識の不足や、抽出された知識からの不規則な応答など、依然として課題に直面している。 我々は、Reasoning Context-enriched knowledge baseとTree Search re-level methodを構築し、LVLMを強化したRCTSと呼ばれるマルチモーダルRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-09T14:00:57Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Can LLMs Be Trusted for Evaluating RAG Systems? A Survey of Methods and Datasets [0.0]
  近年,RAG(Retrieval-Augmented Generation)が著しく進歩している。 RAGの複雑さは、体系的な評価と品質向上に重大な課題をもたらす。 本研究は,63の学術論文を体系的にレビューし,最新のRAG評価手法を概観する。
  論文  参考訳（メタデータ） (2025-04-28T08:22:19Z)
• Retrieval Augmented Generation Evaluation in the Era of Large Language Models: A Comprehensive Survey [29.186229489968564]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) と外部情報検索を統合し、自然言語処理に革命をもたらした。 RAGシステムの評価は、検索と生成コンポーネントを組み合わせたハイブリッドアーキテクチャのため、ユニークな課題を示す。
  論文  参考訳（メタデータ） (2025-04-21T06:39:47Z)
• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
  ITEM(Iterative utiliTy judgm fraEntMework)を提案する。 RAGの3つの中核的構成要素は、検索モデル、ユーティリティ判断、回答生成から導かれる関連性ランキングであり、シューツの哲学的関連性体系と一致している。 実効性判定, ランキング, 回答生成におけるITEMの顕著な改善が, 代表ベースラインに基づいて示された。
  論文  参考訳（メタデータ） (2024-06-17T07:52:42Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。