論文の概要: Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2408.03010v1
• Date: Tue, 6 Aug 2024 07:45:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:37:26.526613
• Title: Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs
• Title（参考訳）: Fact Finder - 知識グラフを組み込んだ大規模言語モデルのドメインエキスパート強化
• Authors: Daniel Steinigen, Roman Teucher, Timm Heine Ruland, Max Rudat, Nicolas Flores-Herr, Peter Fischer, Nikola Milosevic, Christopher Schymura, Angelo Ziletti,
• Abstract要約: ドメイン固有知識グラフ(KG)を用いた大規模言語モデルを拡張したハイブリッドシステムを導入する。 我々は,69個のサンプルを収集し,正しいKGノードの検索精度を78%向上した。 以上の結果から,ハイブリッドシステムは単独のLCMを超える精度と完全性を示した。
• 参考スコア（独自算出の注目度）: 2.7386111894524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have showcased their proficiency in answering natural language queries. However, their effectiveness is hindered by limited domain-specific knowledge, raising concerns about the reliability of their responses. We introduce a hybrid system that augments LLMs with domain-specific knowledge graphs (KGs), thereby aiming to enhance factual correctness using a KG-based retrieval approach. We focus on a medical KG to demonstrate our methodology, which includes (1) pre-processing, (2) Cypher query generation, (3) Cypher query processing, (4) KG retrieval, and (5) LLM-enhanced response generation. We evaluate our system on a curated dataset of 69 samples, achieving a precision of 78\% in retrieving correct KG nodes. Our findings indicate that the hybrid system surpasses a standalone LLM in accuracy and completeness, as verified by an LLM-as-a-Judge evaluation method. This positions the system as a promising tool for applications that demand factual correctness and completeness, such as target identification -- a critical process in pinpointing biological entities for disease treatment or crop enhancement. Moreover, its intuitive search interface and ability to provide accurate responses within seconds make it well-suited for time-sensitive, precision-focused research contexts. We publish the source code together with the dataset and the prompt templates used.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、自然言語クエリに応答する能力を示した。 しかし、その効果は限られたドメイン固有の知識によって妨げられ、応答の信頼性に対する懸念が高まる。 ドメイン固有知識グラフ (KGs) で LLM を拡張するハイブリッドシステムを導入し,KG に基づく検索手法を用いて事実の正当性を高めることを目的とした。 我々は,(1)前処理,(2)Cypherクエリ生成,(3)Cypherクエリ処理,(4)KG検索,(5)LLM強化応答生成などの方法論を実証する医療用KGに焦点を当てた。 そこで本研究では,69サンプルのキュレートしたデータセットを用いて,正しいKGノードの検索において,78倍の精度を実現した。 LLM-as-a-Judge 評価法で検証した結果, ハイブリッドシステムは, 精度と完全性においてスタンドアロンの LLM を超えていることが示唆された。 これは、病気の治療や作物の強化のための生物学的実体を特定するための重要なプロセスであるターゲット識別など、事実の正しさと完全性を要求するアプリケーションのための有望なツールとして位置づけられている。 さらに、直感的な検索インタフェースと、数秒以内に正確な応答を提供する能力は、時間に敏感で精度を重視した研究コンテキストに適している。 ソースコードとデータセットと使用するプロンプトテンプレートを合わせて公開します。

関連論文リスト

• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• Combining LLMs and Knowledge Graphs to Reduce Hallucinations in Question Answering [0.0]
  大言語モデル(LLM)と知識グラフ(KG)を組み合わせて、質問応答システムの精度と信頼性を向上させる。 提案手法は,LLM生成クエリの構文的および意味論的妥当性を保証するクエリチェッカーを組み込んだものである。 このアプローチをアクセス可能にするため、ユーザフレンドリーなWebベースのインターフェースが開発されている。
  論文  参考訳（メタデータ） (2024-09-06T10:49:46Z)
• WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
  本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。 まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。 提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
  論文  参考訳（メタデータ） (2024-08-14T15:19:16Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
  GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
  論文  参考訳（メタデータ） (2024-01-22T19:00:08Z)
• HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses [20.635793525894872]
  大規模言語モデル(LLM)の精度と信頼性を向上させるための仮説知識グラフ強化(HyKGE)フレームワークを開発する。 具体的には、HyKGEはゼロショット能力とLLMの豊富な知識を仮説出力で探索し、KGの可能な探索方向を拡張する。 2つのLLMターボを用いた2つの中国医学多重選択質問データセットと1つの中国のオープンドメイン医療Q&Aデータセットの実験は、精度と説明可能性の観点からHyKGEの優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:49:56Z)
• Biomedical knowledge graph-optimized prompt generation for large language models [1.6658478064349376]
  大規模言語モデル(LLM)は前例のない速度で採用されているが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。 本稿では,トークン最適化およびロバストな知識グラフに基づくRetrieval Augmented Generationフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-11-29T03:07:00Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。