論文の概要: Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking

• arxiv url: http://arxiv.org/abs/2505.23495v1
• Date: Thu, 29 May 2025 14:44:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.908372
• Title: Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking
• Title（参考訳）: KG-RAGデータセットにおける落とし穴の診断と対処:より信頼性の高いベンチマークに向けて
• Authors: Liangliang Zhang, Zhuorui Jiang, Hongliang Chi, Haoyang Chen, Mohammed Elkoumy, Fali Wang, Qiong Wu, Zhengyi Zhou, Shirui Pan, Suhang Wang, Yao Ma,
• Abstract要約: 知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。 我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
• 参考スコア（独自算出の注目度）: 56.27361644734853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Question Answering (KGQA) systems rely on high-quality benchmarks to evaluate complex multi-hop reasoning. However, despite their widespread use, popular datasets such as WebQSP and CWQ suffer from critical quality issues, including inaccurate or incomplete ground-truth annotations, poorly constructed questions that are ambiguous, trivial, or unanswerable, and outdated or inconsistent knowledge. Through a manual audit of 16 popular KGQA datasets, including WebQSP and CWQ, we find that the average factual correctness rate is only 57 %. To address these issues, we introduce KGQAGen, an LLM-in-the-loop framework that systematically resolves these pitfalls. KGQAGen combines structured knowledge grounding, LLM-guided generation, and symbolic verification to produce challenging and verifiable QA instances. Using KGQAGen, we construct KGQAGen-10k, a ten-thousand scale benchmark grounded in Wikidata, and evaluate a diverse set of KG-RAG models. Experimental results demonstrate that even state-of-the-art systems struggle on this benchmark, highlighting its ability to expose limitations of existing models. Our findings advocate for more rigorous benchmark construction and position KGQAGen as a scalable framework for advancing KGQA evaluation.
• Abstract（参考訳）: 知識グラフ質問回答(KGQA)システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 しかし、広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、不正確または不完全な地味なアノテーション、不明瞭で自明で、解決不可能で、時代遅れまたは一貫性のない知識を含む、重要な品質上の問題に悩まされている。 WebQSPやCWQを含む16のKGQAデータセットを手動で監査した結果、平均的な事実の正しさ率は57パーセントに過ぎなかった。 これらの問題に対処するため、我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介した。 KGQAGenは構造化知識基底、LLM誘導生成、シンボリック検証を組み合わせて、挑戦的で検証可能なQAインスタンスを生成する。 KGQAGen を用いて,Wikidata をベースとした 10 分のベンチマーク KGQAGen-10k を構築し,多様な KG-RAG モデルの評価を行う。 実験の結果、最先端のシステムでさえこのベンチマークで苦労していることが示され、既存のモデルの限界を明らかにする能力を強調している。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。

関連論文リスト

• Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models [51.47994645529258]
  本稿では,問合せをGNNアグリゲーションに組み込んでKG関連性を動的に評価するQAP(QA-Aware Knowledge Graph Prompting)を提案する。 実験の結果、QAPは複数のデータセットで最先端の手法よりも優れており、その有効性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T17:09:11Z)
• Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service [9.468878976626351]
  KGQAシステムは、知識を探索する自然言語クエリにおける関係や実体を理解する必要があるため、複雑である。 KGQAの総合評価フレームワークであるChronosを業界規模で紹介する。 このシステムは,(1)エンドツーエンドとコンポーネントレベルのメトリクス,(2)多様なデータセットへのスケーラビリティ,(3)リリース前のシステムパフォーマンスを測定するスケーラブルなアプローチを中心に,包括的にマルチコンポーネントシステムを評価するように設計されている。
  論文  参考訳（メタデータ） (2025-01-28T20:02:10Z)
• A Universal Question-Answering Platform for Knowledge Graphs [7.2676028986202]
  我々は,各ターゲットKGに合わせて調整する必要がない汎用QAシステムであるKGQAnを提案する。 KGQAnは、回答の質や処理時間の点で、最先端の大幅なマージンによって容易にデプロイされ、性能が向上する。
  論文  参考訳（メタデータ） (2023-03-01T15:35:32Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
  本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。 提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
  論文  参考訳（メタデータ） (2022-02-22T01:34:35Z)
• Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis [61.740077541531726]
  コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。 本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-01-20T13:46:01Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。