論文の概要: Efficient Knowledge Infusion via KG-LLM Alignment

• arxiv url: http://arxiv.org/abs/2406.03746v1
• Date: Thu, 6 Jun 2024 04:55:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 18:16:00.040929
• Title: Efficient Knowledge Infusion via KG-LLM Alignment
• Title（参考訳）: KG-LLMアライメントによる効率的な知識注入
• Authors: Zhouyu Jiang, Ling Zhong, Mengshu Sun, Jun Xu, Rui Sun, Hui Cai, Shuhan Luo, Zhiqiang Zhang,
• Abstract要約: 知識グラフ検索法は知識注入の効率的かつ効率的な手法であることが証明されている。 既存のアプローチでは、公開知識グラフとタスクの特定の領域との知識ミスマッチ、知識グラフを用いたLLMの情報コンプライアンスの貧弱な2つの主要な課題に直面している。 本稿では,知識グラフから情報を利用するLLMの能力を高めるための3段階のKG-LLMアライメント戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.735490041033113
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To tackle the problem of domain-specific knowledge scarcity within large language models (LLMs), knowledge graph-retrievalaugmented method has been proven to be an effective and efficient technique for knowledge infusion. However, existing approaches face two primary challenges: knowledge mismatch between public available knowledge graphs and the specific domain of the task at hand, and poor information compliance of LLMs with knowledge graphs. In this paper, we leverage a small set of labeled samples and a large-scale corpus to efficiently construct domain-specific knowledge graphs by an LLM, addressing the issue of knowledge mismatch. Additionally, we propose a three-stage KG-LLM alignment strategyto enhance the LLM's capability to utilize information from knowledge graphs. We conduct experiments with a limited-sample setting on two biomedical question-answering datasets, and the results demonstrate that our approach outperforms existing baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるドメイン固有知識不足の問題に対処するために,知識グラフ検索法は,知識注入の効率的かつ効率的な手法であることが証明されている。 しかし、既存のアプローチでは、公開知識グラフとタスクの特定の領域との間の知識ミスマッチと、知識グラフを用いたLLMの情報コンプライアンスの貧弱な2つの主な課題に直面している。 本稿では,ラベル付きサンプルの小さなセットと大規模コーパスを利用して,LLMによるドメイン固有の知識グラフを効率的に構築し,知識ミスマッチの問題に対処する。 さらに,3段階のKG-LLMアライメント戦略を提案する。 バイオメディカルな質問応答データセットを2つに限定して実験を行い,提案手法が既存のベースラインより優れていることを示す。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
  KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。 バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-26T14:07:00Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings [3.7759315989669058]
  汎用KGを用いた小規模ドメイン固有知識グラフの埋め込みを充実させるフレームワークを提案する。 実験では、Hits@10測定値で最大44%の上昇が観測された。 この比較的探索されていない研究方向は、知識集約的なタスクにおいて、KGのより頻繁な取り込みを触媒することができる。
  論文  参考訳（メタデータ） (2024-05-17T12:46:23Z)
• Collaborative Knowledge Infusion for Low-resource Stance Detection [83.88515573352795]
  姿勢検出モデルを支援するために、ターゲット関連の知識がしばしば必要である。 低リソース姿勢検出タスクに対する協調的知識注入手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T08:32:14Z)
• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
  少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。 知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
  論文  参考訳（メタデータ） (2022-01-27T05:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。