論文の概要: Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering

• arxiv url: http://arxiv.org/abs/2409.04181v2
• Date: Thu, 31 Oct 2024 11:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 23:11:54.736546
• Title: Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering
• Title（参考訳）: 質問応答におけるLLMと知識グラフの組み合わせによる幻覚の低減
• Authors: Larissa Pusch, Tim O. F. Conrad,
• Abstract要約: 大言語モデル(LLM)と知識グラフ(KG)を組み合わせて、質問応答システムの精度と信頼性を向上させる。 提案手法は,LLM生成クエリの構文的および意味論的妥当性を保証するクエリチェッカーを組み込んだものである。 このアプローチをアクセス可能にするため、ユーザフレンドリーなWebベースのインターフェースが開発されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Advancements in natural language processing have revolutionized the way we can interact with digital information systems, such as databases, making them more accessible. However, challenges persist, especially when accuracy is critical, as in the biomedical domain. A key issue is the hallucination problem, where models generate information unsupported by the underlying data, potentially leading to dangerous misinformation. This paper presents a novel approach designed to bridge this gap by combining Large Language Models (LLM) and Knowledge Graphs (KG) to improve the accuracy and reliability of question-answering systems, on the example of a biomedical KG. Built on the LangChain framework, our method incorporates a query checker that ensures the syntactical and semantic validity of LLM-generated queries, which are then used to extract information from a Knowledge Graph, substantially reducing errors like hallucinations. We evaluated the overall performance using a new benchmark dataset of 50 biomedical questions, testing several LLMs, including GPT-4 Turbo and llama3:70b. Our results indicate that while GPT-4 Turbo outperforms other models in generating accurate queries, open-source models like llama3:70b show promise with appropriate prompt engineering. To make this approach accessible, a user-friendly web-based interface has been developed, allowing users to input natural language queries, view generated and corrected Cypher queries, and verify the resulting paths for accuracy. Overall, this hybrid approach effectively addresses common issues such as data gaps and hallucinations, offering a reliable and intuitive solution for question answering systems. The source code for generating the results of this paper and for the user-interface can be found in our Git repository: https://git.zib.de/lpusch/cyphergenkg-gui
• Abstract（参考訳）: 自然言語処理の進歩は、データベースのようなデジタル情報システムとの対話方法に革命をもたらし、それらにアクセスしやすくしています。 しかし、特にバイオメディカル領域のように、正確性が重要である場合、課題は持続する。 主要な問題は幻覚の問題であり、モデルが基盤となるデータから情報を取り除き、危険な誤報につながる可能性がある。 本稿では,バイオメディカルKGの例として,大規模言語モデル(LLM)と知識グラフ(KG)を組み合わせて,質問応答システムの精度と信頼性を向上させることにより,このギャップを埋める新しいアプローチを提案する。 提案手法はLangChainフレームワーク上に構築され,LLM生成クエリの構文的・意味的妥当性を保証するクエリチェッカーを組み込んで,知識グラフから情報を抽出し,幻覚などのエラーを大幅に低減する。 GPT-4 Turbo や llama3:70b などの LLM の試験を行った。 GPT-4 Turboは正確なクエリ生成において他のモデルよりも優れているが、llama3:70bのようなオープンソースモデルは適切なプロンプトエンジニアリングを約束することを示している。 このアプローチをアクセス可能にするために、ユーザフレンドリーなWebベースのインターフェースが開発され、自然言語クエリ、生成されたCypherクエリ、修正されたCypherクエリを入力し、その結果のパスを精度良く検証することができる。 全体として、このハイブリッドアプローチは、データギャップや幻覚といった一般的な問題に効果的に対処し、質問応答システムに対する信頼性と直感的なソリューションを提供する。 この論文の結果とユーザインターフェースを生成するソースコードは、Gitリポジトリで確認できます。

関連論文リスト

• Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
  大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T09:11:56Z)
• Context-Augmented Code Generation Using Programming Knowledge Graphs [0.0]
  大きな言語モデル(LLM)とコード-LLM(CLLM)は、困難で複雑な問題に対処する際にしばしば困難に直面します。 本稿では,プログラミング知識グラフ(PKG)を利用して,コードの意味的表現と検索を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:35:41Z)
• LLM-based SPARQL Query Generation from Natural Language over Federated Knowledge Graphs [0.0]
  バイオインフォマティクス知識グラフ(KGs)上でユーザ質問を正確なSPARQLクエリに変換するための検索型拡張生成(RAG)システムを提案する。 クエリ生成における精度の向上と幻覚の低減を目的として,クエリ例やスキーマ情報を含むメタデータをKGから活用し,生成したクエリの修正に検証ステップを組み込んだ。 このシステムは chat.expasy.org で公開されている。
  論文  参考訳（メタデータ） (2024-10-08T14:09:12Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs [2.7386111894524]
  ドメイン固有知識グラフ(KG)を用いた大規模言語モデルを拡張したハイブリッドシステムを導入する。 我々は,69個のサンプルを収集し,正しいKGノードの検索精度を78%向上した。 以上の結果から,ハイブリッドシステムは単独のLCMを超える精度と完全性を示した。
  論文  参考訳（メタデータ） (2024-08-06T07:45:05Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Clue-Guided Path Exploration: Optimizing Knowledge Graph Retrieval with Large Language Models to Address the Information Black Box Challenge [19.40489486138002]
  大規模言語モデルに基づく知識検索を最適化するためのCGPE(Clue-Guided Path Exploration)フレームワークを提案する。 オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。