論文の概要: Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study Over Open-ended Question Answering

• arxiv url: http://arxiv.org/abs/2410.08085v4
• Date: Thu, 22 May 2025 06:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:20.730633
• Title: Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study Over Open-ended Question Answering
• Title（参考訳）: 知識グラフは大きな言語モデルをより信頼できるものにする? オープンエンドの質問回答に関する実証的研究
• Authors: Yuan Sui, Yufei He, Zifeng Ding, Bryan Hooi,
• Abstract要約: 我々は,知識グラフを付加した大規模言語モデルの評価に特化して設計されたベンチマークであるOKGQAを紹介する。 OKGQAは様々な質問タイプを通して実践的な複雑さを反映し、幻覚率と推論の改善の両方を定量化するためにメトリクスを取り入れている。 我々は,KGのセマンティクスと構造が意図的に乱れ,汚染された場合のモデル性能を評価するためのベンチマーク変種OKGQA-Pを提案する。
• 参考スコア（独自算出の注目度）: 30.12049172634714
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works integrating Knowledge Graphs (KGs) have shown promising improvements in enhancing the reasoning capabilities of Large Language Models (LLMs). However, existing benchmarks primarily focus on closed-ended tasks, leaving a gap in evaluating performance on more complex, real-world scenarios. This limitation also hinders a thorough assessment of KGs' potential to reduce hallucinations in LLMs. To address this, we introduce OKGQA, a new benchmark specifically designed to evaluate LLMs augmented with KGs in open-ended, real-world question answering settings. OKGQA reflects practical complexities through diverse question types and incorporates metrics to quantify both hallucination rates and reasoning improvements in LLM+KG models. To consider the scenarios in which KGs may contain varying levels of errors, we propose a benchmark variant, OKGQA-P, to assess model performance when the semantics and structure of KGs are deliberately perturbed and contaminated. In this paper, we aims to (1) explore whether KGs can make LLMs more trustworthy in an open-ended setting, and (2) conduct a comparative analysis to shed light on method design. We believe this study can facilitate a more complete performance comparison and encourages continuous improvement in integrating KGs with LLMs to mitigate hallucination, and make LLMs more trustworthy. Code and data are released at https://github.com/Y-Sui/OKGQA.
• Abstract（参考訳）: 知識グラフ(KG)を統合する最近の研究は、LLM(Large Language Models)の推論能力の向上に有望な改善を示している。 しかし、既存のベンチマークは主にクローズドなタスクに重点を置いており、より複雑な実世界のシナリオにおけるパフォーマンス評価のギャップを残している。 この制限は、LLMの幻覚を減少させるKGsの可能性の徹底的な評価を妨げている。 そこで本研究では,KGを付加したLLMを実世界のオープンエンド質問応答設定で評価するためのベンチマークであるOKGQAを紹介する。 OKGQAは様々な質問タイプを通して現実的な複雑さを反映し、LLM+KGモデルの幻覚率と推論の改善の両方を定量化するためにメトリクスを取り入れている。 KGが様々なレベルのエラーを含むシナリオを検討するため、KGのセマンティクスと構造が意図的に乱れ、汚染された場合のモデル性能を評価するためのベンチマーク変種OKGQA-Pを提案する。 本稿では,(1)KGsがLLMをオープンエンド環境でより信頼性の高いものにできるか,(2)メソッド設計におけるシャードライトの比較分析を行う。 本研究は、より完全な性能比較を促進し、幻覚を緩和し、LLMをより信頼できるものにするために、KGsとLLMsの統合の継続的な改善を促進することができると信じている。 コードとデータはhttps://github.com/Y-Sui/OKGQA.comで公開されている。

関連論文リスト

• OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
  本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。 我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。 提案手法に基づいてLCMを最適化する方法を示す。
  論文  参考訳（メタデータ） (2024-10-31T07:48:44Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• EffiQA: Efficient Question-Answering with Strategic Multi-Model Collaboration on Knowledge Graphs [11.323661062578799]
  EffiQAは、グローバルプランニング、効率的なKG探査、自己回帰という3つの段階で構成されている。 複数のKBQAベンチマークに関する実証的な証拠は、EffiQAの有効性を示している。 提案された新しいフレームワークが、効率的で知識集約的なクエリの道を開くことを期待しています。
  論文  参考訳（メタデータ） (2024-06-03T11:56:07Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses [20.635793525894872]
  大規模言語モデル(LLM)の精度と信頼性を向上させるための仮説知識グラフ強化(HyKGE)フレームワークを開発する。 具体的には、HyKGEはゼロショット能力とLLMの豊富な知識を仮説出力で探索し、KGの可能な探索方向を拡張する。 2つのLLMターボを用いた2つの中国医学多重選択質問データセットと1つの中国のオープンドメイン医療Q&Aデータセットの実験は、精度と説明可能性の観点からHyKGEの優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:49:56Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。