論文の概要: What Breaks Knowledge Graph based RAG? Empirical Insights into Reasoning under Incomplete Knowledge

• arxiv url: http://arxiv.org/abs/2508.08344v1
• Date: Mon, 11 Aug 2025 10:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.187668
• Title: What Breaks Knowledge Graph based RAG? Empirical Insights into Reasoning under Incomplete Knowledge
• Title（参考訳）: 知識グラフに基づくRAGとは何か? 経験的考察から不完全知識下での推論へ
• Authors: Dongzhuoran Zhou, Yuqicheng Zhu, Xiaxia Wang, Hongkuan Zhou, Yuan He, Jiaoyan Chen, Evgeny Kharlamov, Steffen Staab,
• Abstract要約: 知識グラフに基づく検索型生成(KG-RAG)は、大規模言語モデルの推論能力と知識グラフの構造的エビデンスを組み合わせるための、ますます研究が進んでいるアプローチである。 既存のベンチマークには、KGの既存のトリプルを使って直接答えられる質問が含まれていることが多い。 本研究では,KG-RAG手法を知識の不完全性の下で体系的に評価するための評価プロトコルとともに,ベンチマークを構築するための一般的な手法を提案する。
• 参考スコア（独自算出の注目度）: 24.7492528721447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge Graph-based Retrieval-Augmented Generation (KG-RAG) is an increasingly explored approach for combining the reasoning capabilities of large language models with the structured evidence of knowledge graphs. However, current evaluation practices fall short: existing benchmarks often include questions that can be directly answered using existing triples in KG, making it unclear whether models perform reasoning or simply retrieve answers directly. Moreover, inconsistent evaluation metrics and lenient answer matching criteria further obscure meaningful comparisons. In this work, we introduce a general method for constructing benchmarks, together with an evaluation protocol, to systematically assess KG-RAG methods under knowledge incompleteness. Our empirical results show that current KG-RAG methods have limited reasoning ability under missing knowledge, often rely on internal memorization, and exhibit varying degrees of generalization depending on their design.
• Abstract（参考訳）: 知識グラフに基づく検索型生成(KG-RAG)は、大規模言語モデルの推論能力と知識グラフの構造的エビデンスを組み合わせるための、ますます研究が進んでいるアプローチである。 既存のベンチマークには、KGの既存のトリプルを使用して直接回答できる質問が含まれており、モデルが推論を実行したのか、あるいは単に回答を直接取得したのかがはっきりしない。 さらに,不整合評価指標と,厳密な回答マッチング基準は,さらに曖昧な有意な比較を行った。 本研究では,KG-RAG手法を知識の不完全性の下で体系的に評価するための評価プロトコルとともに,ベンチマークを構築するための一般的な手法を提案する。 実験の結果,現在のKG-RAG法は知識不足下では推論能力が限られており,内部記憶に頼っていることが多く,設計による一般化の度合いが異なることがわかった。

関連論文リスト

• KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs [66.35046942874737]
  KG-Infused RAGは、拡散活性化を実装するためにKGをRAGシステムに統合するフレームワークである。 KG-Infused RAGはKGの事実を検索し、クエリを拡張し、コーパスと構造化された事実を組み合わせることで生成を強化する。
  論文  参考訳（メタデータ） (2025-06-11T09:20:02Z)
• Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [56.27361644734853]
  知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。 我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
  論文  参考訳（メタデータ） (2025-05-29T14:44:52Z)
• Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness [25.74411097212245]
  KG-RAG(Knowledge Graph based Retrieval-Augmented Generation)は、質問回答(QA)のようなタスクにおける大規模言語モデル(LLM)推論を強化する手法である。 既存のベンチマークでは、KG-RAG性能に対するKGの不完全性の影響を適切に捉えていない。 我々は、KG-RAG法がKGの不完全性に敏感であることを示し、現実的な設定においてより堅牢なアプローチの必要性を強調した。
  論文  参考訳（メタデータ） (2025-04-07T15:08:03Z)
• History repeats Itself: A Baseline for Temporal Knowledge Graph Forecasting [10.396081172890025]
  時間的知識グラフ (TKG) 予測は、知識グラフの歴史に基づいた将来の時間ステップのための知識グラフのリンクを予測することを目的としている。 本稿では,繰り返し発生する事象を予測したTKG予測のための直感的なベースラインを設計することを提案する。
  論文  参考訳（メタデータ） (2024-04-25T16:39:32Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• MPLR: a novel model for multi-target learning of logical rules for knowledge graph reasoning [5.499688003232003]
  本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。 本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。 実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-12T09:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。