論文の概要: Mitigating LLM Hallucinations with Knowledge Graphs: A Case Study

• arxiv url: http://arxiv.org/abs/2504.12422v1
• Date: Wed, 16 Apr 2025 18:40:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:35:55.875302
• Title: Mitigating LLM Hallucinations with Knowledge Graphs: A Case Study
• Title（参考訳）: 知識グラフを用いたLLM幻覚の修正 : 事例研究
• Authors: Harry Li, Gabriel Appleby, Kenneth Alperin, Steven R Gomez, Ashley Suh,
• Abstract要約: LinkQは、LLMに質問応答(QA)中の地文データに対する知識グラフをクエリさせ、幻覚と戦うために開発されたオープンソースの自然言語インタフェースである。 我々は、よく知られたKGQAデータセットを用いてLinkQの定量的評価を行い、システムがGPT-4より優れているが、まだ特定の質問カテゴリに苦慮していることを示す。 実際のサイバーセキュリティKGを使用して、2つのドメインの専門家とLinkQの質的研究を議論し、これらの専門家のフィードバック、提案、認識された制限、LinkQのようなシステムの将来的な機会について概説する。
• 参考スコア（独自算出の注目度）: 2.40997250653065
• License:
• Abstract: High-stakes domains like cyber operations need responsible and trustworthy AI methods. While large language models (LLMs) are becoming increasingly popular in these domains, they still suffer from hallucinations. This research paper provides learning outcomes from a case study with LinkQ, an open-source natural language interface that was developed to combat hallucinations by forcing an LLM to query a knowledge graph (KG) for ground-truth data during question-answering (QA). We conduct a quantitative evaluation of LinkQ using a well-known KGQA dataset, showing that the system outperforms GPT-4 but still struggles with certain question categories - suggesting that alternative query construction strategies will need to be investigated in future LLM querying systems. We discuss a qualitative study of LinkQ with two domain experts using a real-world cybersecurity KG, outlining these experts' feedback, suggestions, perceived limitations, and future opportunities for systems like LinkQ.
• Abstract（参考訳）: サイバーオペレーションのような高度なドメインには、責任と信頼できるAIメソッドが必要です。 大規模言語モデル(LLM)はこれらの領域で人気が高まっているが、それでも幻覚に悩まされている。 本研究は,LLMに質問応答(QA)中の地文データに対する知識グラフ(KG)を問合せさせることにより,幻覚に対処するために開発されたオープンソースの自然言語インタフェースであるLinkQを用いたケーススタディから学習結果を提供する。 我々は、よく知られたKGQAデータセットを用いてLinkQを定量的に評価し、システムがGPT-4より優れているが、ある種の質問カテゴリに苦慮していることを示し、将来のLLMクエリシステムで代替クエリ構築戦略を調査する必要があることを示唆している。 実際のサイバーセキュリティKGを使用して、2つのドメインの専門家とLinkQの質的研究を議論し、これらの専門家のフィードバック、提案、認識された制限、LinkQのようなシステムの将来的な機会について概説する。

関連論文リスト

• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering [1.5238808518078564]
  LinkQは,大規模言語モデル(LLM)を活用して,自然言語質問応答による知識グラフ(KG)クエリ構築を容易にするシステムである。 LLMはユーザーの質問を解釈し、その質問を体系的に整形したクエリに変換する。 LinkQは、ユーザの質問が真実のKGデータからのみ回答されることを保証することで、LCMの幻覚的なアウトプットに対してガードする。
  論文  参考訳（メタデータ） (2024-06-07T15:28:31Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• CuriousLLM: Elevating Multi-Document Question Answering with LLM-Enhanced Knowledge Graph Reasoning [0.9295048974480845]
  我々は、好奇心駆動推論機構をLLMエージェントに統合する拡張であるCuriousLLMを提案する。 この機構により、エージェントは関連するフォローアップ質問を生成し、情報検索プロセスをより効率的に導くことができる。 実験の結果,CuriousLLMは多文書質問応答(MD-QA)におけるLLM性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T20:43:46Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• Won't Get Fooled Again: Answering Questions with False Premises [79.8761549830075]
  プレトレーニング言語モデル(PLM)は、様々な分野で前例のない可能性を示している。 PLMは「太陽は何人の目を持っているのか?」といったトリッキーな質問によって容易に騙される傾向がある。 PLMはすでにそのような疑問に答えるために必要な知識を持っている。
  論文  参考訳（メタデータ） (2023-07-05T16:09:21Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。