論文の概要: Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering
- arxiv url: http://arxiv.org/abs/2409.04181v1
- Date: Fri, 6 Sep 2024 10:49:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 16:05:19.661134
- Title: Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering
- Title(参考訳): 質問応答におけるLLMと知識グラフの組み合わせによる幻覚の低減
- Authors: Larissa Pusch, Tim O. F. Conrad,
- Abstract要約: 大言語モデル(LLM)と知識グラフ(KG)を組み合わせて、質問応答システムの精度と信頼性を向上させる。
提案手法は,LLM生成クエリの構文的および意味論的妥当性を保証するクエリチェッカーを組み込んだものである。
このアプローチをアクセス可能にするため、ユーザフレンドリーなWebベースのインターフェースが開発されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Advancements in natural language processing have revolutionized the way we can interact with digital information systems, such as databases, making them more accessible. However, challenges persist, especially when accuracy is critical, as in the biomedical domain. A key issue is the hallucination problem, where models generate information unsupported by the underlying data, potentially leading to dangerous misinformation. This paper presents a novel approach designed to bridge this gap by combining Large Language Models (LLM) and Knowledge Graphs (KG) to improve the accuracy and reliability of question-answering systems, on the example of a biomedical KG. Built on the LangChain framework, our method incorporates a query checker that ensures the syntactical and semantic validity of LLM-generated queries, which are then used to extract information from a Knowledge Graph, substantially reducing errors like hallucinations. We evaluated the overall performance using a new benchmark dataset of 50 biomedical questions, testing several LLMs, including GPT-4 Turbo and llama3:70b. Our results indicate that while GPT-4 Turbo outperforms other models in generating accurate queries, open-source models like llama3:70b show promise with appropriate prompt engineering. To make this approach accessible, a user-friendly web-based interface has been developed, allowing users to input natural language queries, view generated and corrected Cypher queries, and verify the resulting paths for accuracy. Overall, this hybrid approach effectively addresses common issues such as data gaps and hallucinations, offering a reliable and intuitive solution for question answering systems. The source code for generating the results of this paper and for the user-interface can be found in our Git repository: https://git.zib.de/lpusch/cyphergenkg-gui
- Abstract(参考訳): 自然言語処理の進歩は、データベースのようなデジタル情報システムとの対話方法に革命をもたらし、それらにアクセスしやすくしています。
しかし、特にバイオメディカル領域のように、正確性が重要である場合、課題は持続する。
主要な問題は幻覚の問題であり、モデルが基盤となるデータから情報を取り除き、危険な誤報につながる可能性がある。
本稿では,バイオメディカルKGの例として,大規模言語モデル(LLM)と知識グラフ(KG)を組み合わせて,質問応答システムの精度と信頼性を向上させることにより,このギャップを埋める新しいアプローチを提案する。
提案手法はLangChainフレームワーク上に構築され,LLM生成クエリの構文的・意味的妥当性を保証するクエリチェッカーを組み込んで,知識グラフから情報を抽出し,幻覚などのエラーを大幅に低減する。
GPT-4 Turbo や llama3:70b などの LLM の試験を行った。
GPT-4 Turboは正確なクエリ生成において他のモデルよりも優れているが、llama3:70bのようなオープンソースモデルは適切なプロンプトエンジニアリングを約束することを示している。
このアプローチをアクセス可能にするために、ユーザフレンドリーなWebベースのインターフェースが開発され、自然言語クエリ、生成されたCypherクエリ、修正されたCypherクエリを入力し、その結果のパスを精度良く検証することができる。
全体として、このハイブリッドアプローチは、データギャップや幻覚といった一般的な問題に効果的に対処し、質問応答システムに対する信頼性と直感的なソリューションを提供する。
この論文の結果とユーザインターフェースを生成するソースコードは、Gitリポジトリで確認できます。
関連論文リスト
- How do you know that? Teaching Generative Language Models to Reference Answers to Biomedical Questions [0.0]
大規模言語モデル(LLM)が最近,ユーザの質問に対するオンライン回答の主要なソースになっている。
雄弁な答えを提供する能力があるにもかかわらず、その正確さと信頼性は重大な課題となる。
本稿では, バイオメディカル検索強化生成システム(RAG)を導入し, 生成した応答の信頼性を高める。
論文 参考訳(メタデータ) (2024-07-06T09:10:05Z) - Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。
提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
論文 参考訳(メタデータ) (2024-06-14T13:28:03Z) - LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering [1.5238808518078564]
LinkQは,大規模言語モデル(LLM)を活用して,自然言語質問応答による知識グラフ(KG)クエリ構築を容易にするシステムである。
以上の結果から,KG質問応答にLinkQが有効であることが示唆された。
論文 参考訳(メタデータ) (2024-06-07T15:28:31Z) - Assessing LLMs Suitability for Knowledge Graph Completion [0.0]
大きな言語モデル(LLM)は知識グラフに関連するタスクを解決するために使用できる。
LLMは、答えを幻覚させることや、結果を非決定論的に出力することが知られている。
論文 参考訳(メタデータ) (2024-05-27T15:04:50Z) - SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question
Answering over a Life Science Knowledge Graph [0.0]
生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。
本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。
また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
論文 参考訳(メタデータ) (2024-02-07T07:24:01Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳(メタデータ) (2023-03-15T19:31:21Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳(メタデータ) (2022-10-04T18:32:14Z) - Type-aware Embeddings for Multi-Hop Reasoning over Knowledge Graphs [18.56742938427262]
実生活知識グラフ(KG)に対するマルチホップ推論は非常に難しい問題である。
この問題に対処するため、最近、論理的クエリとKGを併用した有望なアプローチを導入している。
本稿では,クエリにおけるエンティティと関係表現を強化する新しいTEMP(TypE-aware Message Passing)モデルを提案する。
論文 参考訳(メタデータ) (2022-05-02T10:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。