論文の概要: Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs
- arxiv url: http://arxiv.org/abs/2511.04473v1
- Date: Thu, 06 Nov 2025 15:45:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 20:17:53.484236
- Title: Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs
- Title（参考訳）: 知識グラフ強化LLMの訓練と評価のための地中構造グラフ
- Authors: Alberto Cattaneo, Carlo Luschi, Daniel Justus,
- Abstract要約: SynthKGQAは、あらゆる知識グラフから高品質な合成知識グラフ質問回答データセットを生成するためのフレームワークである。
我々は、KGレトリバーのより情報的なベンチマークを可能にするだけでなく、SynthKGQAで生成されたデータにより、より優れたモデルをトレーニングできることを示す。
- 参考スコア（独自算出の注目度）: 3.222543736797976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval of information from graph-structured knowledge bases represents a promising direction for improving the factuality of LLMs. While various solutions have been proposed, a comparison of methods is difficult due to the lack of challenging QA datasets with ground-truth targets for graph retrieval. We present SynthKGQA, a framework for generating high-quality synthetic Knowledge Graph Question Answering datasets from any Knowledge Graph, providing the full set of ground-truth facts in the KG to reason over each question. We show how, in addition to enabling more informative benchmarking of KG retrievers, the data produced with SynthKGQA also allows us to train better models. We apply SynthKGQA to Wikidata to generate GTSQA, a new dataset designed to test zero-shot generalization abilities of KG retrievers with respect to unseen graph structures and relation types, and benchmark popular solutions for KG-augmented LLMs on it.
- Abstract（参考訳）: グラフ構造化知識ベースからの情報の検索は、LCMの事実性を改善するための有望な方向を示す。
様々な手法が提案されているが,グラフ検索において,QAデータセットの難易度が低いため,提案手法の比較は困難である。
本稿では,任意の知識グラフから高品質な合成知識グラフ質問回答データセットを生成するためのフレームワークであるSynthKGQAについて述べる。
我々は、KGレトリバーのより情報的なベンチマークを可能にするだけでなく、SynthKGQAで生成されたデータにより、より優れたモデルをトレーニングできることを示す。
我々はWikidataにSynthKGQAを適用してGTSQAを生成する。これは、未知のグラフ構造や関係型に関してKGレトリバーのゼロショット一般化能力をテストするために設計された新しいデータセットであり、KG拡張LLMの一般的なソリューションをベンチマークする。
関連論文リスト
- Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ
これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。
既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。
我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
論文 参考訳（メタデータ） (2025-09-25T06:48:52Z) - Talking to GDELT Through Knowledge Graphs [0.6153162958674417]
本研究では,各アプローチの強みと弱みを質問応答解析で把握するために,様々なRAG(Retrieval Augmented Regeneration)アプローチについて検討する。
テキストコーパスから情報を取得するために,従来のベクトルストアRAGと,最先端の大規模言語モデル(LLM)に基づくアプローチを実装した。
論文 参考訳（メタデータ） (2025-03-10T17:48:10Z) - Grounding LLM Reasoning with Knowledge Graphs [4.279373869671241]
我々は、知識グラフと推論戦略を統合することで、KGデータにおける推論チェーンのすべてのステップまたは"思想"をアンカーする。
我々は,Chain-of-Thought (CoT), Tree-of-Thought (ToT), Graph-of-Thought (GoT) など,いくつかの推論手法によるエージェント検索と自動検索の両方を評価した。
我々の実験は、このアプローチがベースラインモデルより一貫して優れていることを示した。
論文 参考訳（メタデータ） (2025-02-18T19:20:46Z) - Ontology-grounded Automatic Knowledge Graph Construction by LLM under Wikidata schema [60.42231674887294]
本稿では,Large Language Models (LLMs) を用いた知識グラフ構築のためのオントロジー的アプローチを提案する。
我々は、一貫性と解釈可能性を確保するために、抽出された関係に基づいて、著者によるオントロジーによるKGの基底生成を行う。
我々の研究は、人間の介入を最小限に抑えたスケーラブルなKG建設パイプラインの実現に向けて有望な方向を示し、高品質で人間に解釈可能なKGを生み出す。
論文 参考訳（メタデータ） (2024-12-30T13:36:05Z) - Distill-SynthKG: Distilling Knowledge Graph Synthesis Workflow for Improved Coverage and Efficiency [59.6772484292295]
大規模言語モデル(LLM)によって生成される知識グラフ(KG)は、検索・拡張生成(RAG)アプリケーションにとってますます価値が増している。
既存のKG抽出法は、大規模コーパスの処理に非効率なプロンプトベースのアプローチに依存している。
LLMに基づく多段階文書レベルのKGワークフローであるSynthKGを提案する。
我々はまた、RAGのための新しいグラフベースの検索フレームワークを設計する。
論文 参考訳（メタデータ） (2024-10-22T00:47:54Z) - Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
論文 参考訳（メタデータ） (2024-04-23T04:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。