論文の概要: Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study over Open-ended Question Answering

• arxiv url: http://arxiv.org/abs/2410.08085v1
• Date: Thu, 10 Oct 2024 16:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:35:21.278048
• Title: Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study over Open-ended Question Answering
• Title（参考訳）: 知識グラフは大きな言語モデルをより信頼できるものにできるか? オープンエンドの質問回答に関する実証的研究
• Authors: Yuan Sui, Bryan Hooi,
• Abstract要約: 我々は、知識グラフ(KG)で強化された大規模言語モデル(LLM)を評価するために特別に設計された新しいベンチマークであるOKGQAを紹介する。 OKGQAは、様々なタイプの質問を使って実践的なアプリケーションの複雑さを深く反映するように設計されており、幻覚の減少と推論能力の強化の両方を測定するために特定のメトリクスを取り入れている。 また,KGのセマンティクスと構造が意図的に乱れ,汚染された場合のモデル性能を評価するためのOKGQA-Pを提案する。
• 参考スコア（独自算出の注目度）: 35.2451096137883
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works integrating Knowledge Graphs (KGs) have led to promising improvements in enhancing reasoning accuracy of Large Language Models (LLMs). However, current benchmarks mainly focus on closed tasks, leaving a gap in the assessment of more complex, real-world scenarios. This gap has also obscured the evaluation of KGs' potential to mitigate the problem of hallucination in LLMs. To fill the gap, we introduce OKGQA, a new benchmark specifically designed to assess LLMs enhanced with KGs under open-ended, real-world question answering scenarios. OKGQA is designed to closely reflect the complexities of practical applications using questions from different types, and incorporates specific metrics to measure both the reduction in hallucinations and the enhancement in reasoning capabilities. To consider the scenario in which KGs may have varying levels of mistakes, we further propose another experiment setting OKGQA-P to assess model performance when the semantics and structure of KGs are deliberately perturbed and contaminated. OKGQA aims to (1) explore whether KGs can make LLMs more trustworthy in an open-ended setting, and (2) conduct a comparative analysis to shed light on methods and future directions for leveraging KGs to reduce LLMs' hallucination. We believe that this study can facilitate a more complete performance comparison and encourage continuous improvement in integrating KGs with LLMs.
• Abstract（参考訳）: 知識グラフ(KG)を統合する最近の研究は、LLM(Large Language Models)の推論精度の向上に有望な改善をもたらした。 しかし、現在のベンチマークは主にクローズドなタスクに焦点を当てており、より複雑で現実的なシナリオの評価にギャップを残している。 このギャップはまた、LLMにおける幻覚の問題を緩和するKGsの可能性の評価を曖昧にしている。 このギャップを埋めるために、KGで強化されたLLMを、実世界のオープンエンドな質問応答シナリオ下で評価するために設計された新しいベンチマークOKGQAを導入する。 OKGQAは、様々なタイプの質問を使って実践的なアプリケーションの複雑さを深く反映するように設計されており、幻覚の減少と推論能力の強化の両方を測定するために特定のメトリクスを取り入れている。 さらに,KGsのセマンティクスや構造が意図的に乱れ,汚染されている場合のモデル性能を評価するためのOKGQA-Pの設定についても検討した。 OKGQAの目的は、(1)KGsがLLMをオープンエンド環境でより信頼できるものにできるか、(2)KGsを活用してLLMの幻覚を減らす方法と今後の方向性について比較分析を行うことである。 本研究は,KGsとLLMsの統合において,より完全な性能比較を促進し,継続的な改善を促進できると考えている。

関連論文リスト

• OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
  本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。 我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。 提案手法に基づいてLCMを最適化する方法を示す。
  論文  参考訳（メタデータ） (2024-10-31T07:48:44Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• EffiQA: Efficient Question-Answering with Strategic Multi-Model Collaboration on Knowledge Graphs [11.323661062578799]
  EffiQAは、グローバルプランニング、効率的なKG探査、自己回帰という3つの段階で構成されている。 複数のKBQAベンチマークに関する実証的な証拠は、EffiQAの有効性を示している。 提案された新しいフレームワークが、効率的で知識集約的なクエリの道を開くことを期待しています。
  論文  参考訳（メタデータ） (2024-06-03T11:56:07Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses [20.635793525894872]
  大規模言語モデル(LLM)の精度と信頼性を向上させるための仮説知識グラフ強化(HyKGE)フレームワークを開発する。 具体的には、HyKGEはゼロショット能力とLLMの豊富な知識を仮説出力で探索し、KGの可能な探索方向を拡張する。 2つのLLMターボを用いた2つの中国医学多重選択質問データセットと1つの中国のオープンドメイン医療Q&Aデータセットの実験は、精度と説明可能性の観点からHyKGEの優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:49:56Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。