論文の概要: Biomedical knowledge graph-enhanced prompt generation for large language models

• arxiv url: http://arxiv.org/abs/2311.17330v1
• Date: Wed, 29 Nov 2023 03:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 22:55:58.683718
• Title: Biomedical knowledge graph-enhanced prompt generation for large language models
• Title（参考訳）: 大規模言語モデルのための生物医学知識グラフエンハンスド・プロンプト生成
• Authors: Karthik Soman, Peter W Rose, John H Morris, Rabia E Akbas, Brett Smith, Braian Peetoom, Catalina Villouta-Reyes, Gabriel Cerono, Yongmei Shi, Angela Rizk-Jackson, Sharat Israni, Charlotte A Nelson, Sui Huang, Sergio E Baranzini
• Abstract要約: 大規模言語モデル(LLM)はAIの進歩を前例のない速度で加速させてきたが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。 本稿では,既存の知識に根ざした有意義なバイオメディカルテキストを生成するために,タスク非依存の知識グラフに基づく検索用RAG(Retrieval Augmented Generation)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.7031448315593074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have been driving progress in AI at an unprecedented rate, yet still face challenges in knowledge-intensive domains like biomedicine. Solutions such as pre-training and domain-specific fine-tuning add substantial computational overhead, and the latter require domain-expertise. External knowledge infusion is task-specific and requires model training. Here, we introduce a task-agnostic Knowledge Graph-based Retrieval Augmented Generation (KG-RAG) framework by leveraging the massive biomedical KG SPOKE with LLMs such as Llama-2-13b, GPT-3.5-Turbo and GPT-4, to generate meaningful biomedical text rooted in established knowledge. KG-RAG consistently enhanced the performance of LLMs across various prompt types, including one-hop and two-hop prompts, drug repurposing queries, biomedical true/false questions, and multiple-choice questions (MCQ). Notably, KG-RAG provides a remarkable 71% boost in the performance of the Llama-2 model on the challenging MCQ dataset, demonstrating the framework's capacity to empower open-source models with fewer parameters for domain-specific questions. Furthermore, KG-RAG enhanced the performance of proprietary GPT models, such as GPT-3.5 which exhibited improvement over GPT-4 in context utilization on MCQ data. Our approach was also able to address drug repurposing questions, returning meaningful repurposing suggestions. In summary, the proposed framework combines explicit and implicit knowledge of KG and LLM, respectively, in an optimized fashion, thus enhancing the adaptability of general-purpose LLMs to tackle domain-specific questions in a unified framework.
• Abstract（参考訳）: 大規模言語モデル(LLM)はAIの進歩を前例のない速度で加速させてきたが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。 事前トレーニングやドメイン固有の微調整のようなソリューションは、かなりの計算オーバーヘッドをもたらします。 外部知識の注入はタスク固有であり、モデルトレーニングを必要とする。 本稿では,Llama-2-13b, GPT-3.5-Turbo, GPT-4 などの LLM を用いた大規模バイオメディカル KG SPOKE を利用したタスク非依存の知識グラフに基づく検索音声生成(KG-RAG)フレームワークを提案する。 KG-RAGは、ワンホップと2ホップのプロンプト、薬物再服用クエリ、バイオメディカル真偽質問、マルチチョイス質問(MCQ)など、様々なプロンプトタイプのLSMの性能を一貫して強化した。 特に、KG-RAGは、挑戦的なMCQデータセット上でのLlama-2モデルのパフォーマンスを71%向上させ、ドメイン固有の質問に対してより少ないパラメータでオープンソースモデルを強化する能力を示す。 さらに、KG-RAGは、MCQデータを用いた文脈利用において、GPT-4よりも改良されたGPT-3.5のような独自のGPTモデルの性能を高めた。 我々のアプローチは、薬物のリポーザリングの問題にも対処でき、有意義なリポーザリングの提案を返すことができた。 まとめると、提案フレームワークは、最適化された方法で、KGとLLMの明示的知識と暗黙的知識をそれぞれ組み合わせ、統一されたフレームワークにおけるドメイン固有の問題に取り組むための汎用LLMの適応性を高める。

関連論文リスト

• GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [84.41557981816077]
  本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-03T07:04:29Z)
• Knowledge Hierarchy Guided Biological-Medical Dataset Distillation for Domain LLM Training [10.701353329227722]
  学術文献から高品質なテキストトレーニングデータの蒸留を自動化する枠組みを提案する。 われわれのアプローチは、バイオメディカル領域とより密接に一致した質問を自己評価し、生成する。 本手法は,生命科学領域の事前学習モデルと比較して,質問応答タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-25T07:20:44Z)
• FRAG: A Flexible Modular Framework for Retrieval-Augmented Generation based on Knowledge Graphs [17.477161619378332]
  両アプローチの利点を相乗化する新しいフレキシブルなモジュール型KG-RAGフレームワークFRAGを提案する。 知識グラフの代わりにクエリテキストを使用することで、FRAGは柔軟性を維持しながら検索品質を向上させる。
  論文  参考訳（メタデータ） (2025-01-17T05:19:14Z)
• LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies [3.2221734920470797]
  医用画像のための自然言語記述(NLE)を生成するために,知識グラフ(KG)ベースのデータストアを付加したビジョンランゲージフレームワークを提案する。 本フレームワークでは,生成した説明の精度を向上するだけでなく,直接データ検索を回避してデータのプライバシーを保護できるKGベースの検索機構を採用している。 これらのフレームワークはMIMIC-NLEデータセット上で検証され、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-07T04:59:08Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs [2.7386111894524]
  ドメイン固有知識グラフ(KG)を用いた大規模言語モデルを拡張したハイブリッドシステムを導入する。 我々は,69個のサンプルを収集し,正しいKGノードの検索精度を78%向上した。 以上の結果から,ハイブリッドシステムは単独のLCMを超える精度と完全性を示した。
  論文  参考訳（メタデータ） (2024-08-06T07:45:05Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• HyKGE: A Hypothesis Knowledge Graph Enhanced Framework for Accurate and Reliable Medical LLMs Responses [20.635793525894872]
  大規模言語モデル(LLM)の精度と信頼性を向上させるための仮説知識グラフ強化(HyKGE)フレームワークを開発する。 具体的には、HyKGEはゼロショット能力とLLMの豊富な知識を仮説出力で探索し、KGの可能な探索方向を拡張する。 2つのLLMターボを用いた2つの中国医学多重選択質問データセットと1つの中国のオープンドメイン医療Q&Aデータセットの実験は、精度と説明可能性の観点からHyKGEの優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:49:56Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。