論文の概要: KG-FPQ: Evaluating Factuality Hallucination in LLMs with Knowledge Graph-based False Premise Questions

• arxiv url: http://arxiv.org/abs/2407.05868v2
• Date: Sun, 22 Dec 2024 07:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:44.113520
• Title: KG-FPQ: Evaluating Factuality Hallucination in LLMs with Knowledge Graph-based False Premise Questions
• Title（参考訳）: KG-FPQ:知識グラフを用いたFalse Premise Questionsを用いたLCMにおける表情の幻覚の評価
• Authors: Yanxu Zhu, Jinlin Xiao, Yuhang Wang, Jitao Sang,
• Abstract要約: 大規模言語モデル(LLM)は、誤った前提問題(FPQ)によって誤解されるおそれがある。 知識グラフ(KG)に基づいたFPQを作成するための,自動化されたスケーラブルなパイプラインを導入する。 本稿では,知識グラフに基づくFalse Premise Questions (KG-FPQ) のベンチマークについて述べる。
• 参考スコア（独自算出の注目度）: 19.246385485678104
• License:
• Abstract: Recent studies have demonstrated that large language models (LLMs) are susceptible to being misled by false premise questions (FPQs), leading to errors in factual knowledge, know as factuality hallucination. Existing benchmarks that assess this vulnerability primarily rely on manual construction, resulting in limited scale and lack of scalability. In this work, we introduce an automated, scalable pipeline to create FPQs based on knowledge graphs (KGs). The first step is modifying true triplets extracted from KGs to create false premises. Subsequently, utilizing the state-of-the-art capabilities of GPTs, we generate semantically rich FPQs. Based on the proposed method, we present a comprehensive benchmark, the Knowledge Graph-based False Premise Questions (KG-FPQ), which contains approximately 178k FPQs across three knowledge domains, at six levels of confusability, and in two task formats. Using KG-FPQ, we conduct extensive evaluations on several representative LLMs and provide valuable insights. The KG-FPQ dataset and code are available at~https://github.com/yanxuzhu/KG-FPQ.
• Abstract（参考訳）: 近年の研究では、大きな言語モデル(LLM)が偽の前提問題(FPQ)によって誤解されやすいことが示されており、事実知識の誤りにつながる。 この脆弱性を評価する既存のベンチマークは、主に手作業による構成に依存しており、スケールの制限とスケーラビリティの欠如をもたらす。 本研究では,知識グラフ(KG)に基づくFPQを作成するための,自動化されたスケーラブルなパイプラインを提案する。 最初のステップは、偽の前提を作るためにKGから抽出された真の三つ子を変更することである。 その後、GPTの最先端機能を活用し、意味的にリッチなFPQを生成する。 提案手法は,知識グラフに基づくFalse Premise Questions (KG-FPQ) の総合的なベンチマークであり,約178kのFPQを3つの知識領域,6レベルのコンフューザビリティ,2つのタスク形式で含む。 KG-FPQを用いて、いくつかの代表的なLCMを広範囲に評価し、貴重な洞察を提供する。 KG-FPQデータセットとコードは、~https://github.com/yanxuzhu/KG-FPQで入手できる。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering [1.5238808518078564]
  LinkQは,大規模言語モデル(LLM)を活用して,自然言語質問応答による知識グラフ(KG)クエリ構築を容易にするシステムである。 以上の結果から,KG質問応答にLinkQが有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-07T15:28:31Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Won't Get Fooled Again: Answering Questions with False Premises [79.8761549830075]
  プレトレーニング言語モデル(PLM)は、様々な分野で前例のない可能性を示している。 PLMは「太陽は何人の目を持っているのか?」といったトリッキーな質問によって容易に騙される傾向がある。 PLMはすでにそのような疑問に答えるために必要な知識を持っている。
  論文  参考訳（メタデータ） (2023-07-05T16:09:21Z)
• An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering [28.31377197194905]
  大規模事前学習型言語モデル(PLM)は、最近大きな成功を収め、自然言語処理(NLP)のマイルストーンとなった。 近年、知識グラフ質問応答 (KGQA) の研究において、BERT やその変種は KGQA モデルにおいて必要となっている。 我々は、KGQAにおける異なるPLMの性能を比較し、より大規模なKGに対する3つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。