論文の概要: Knowledge Graph-Enhanced Large Language Models via Path Selection

• arxiv url: http://arxiv.org/abs/2406.13862v1
• Date: Wed, 19 Jun 2024 21:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:06:06.793777
• Title: Knowledge Graph-Enhanced Large Language Models via Path Selection
• Title（参考訳）: パス選択による知識グラフ強化大言語モデル
• Authors: Haochen Liu, Song Wang, Yaochen Zhu, Yushun Dong, Jundong Li,
• Abstract要約: 大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
• 参考スコア（独自算出の注目度）: 58.228392005755026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown unprecedented performance in various real-world applications. However, they are known to generate factually inaccurate outputs, a.k.a. the hallucination problem. In recent years, incorporating external knowledge extracted from Knowledge Graphs (KGs) has become a promising strategy to improve the factual accuracy of LLM-generated outputs. Nevertheless, most existing explorations rely on LLMs themselves to perform KG knowledge extraction, which is highly inflexible as LLMs can only provide binary judgment on whether a certain knowledge (e.g., a knowledge path in KG) should be used. In addition, LLMs tend to pick only knowledge with direct semantic relationship with the input text, while potentially useful knowledge with indirect semantics can be ignored. In this work, we propose a principled framework KELP with three stages to handle the above problems. Specifically, KELP is able to achieve finer granularity of flexible knowledge extraction by generating scores for knowledge paths with input texts via latent semantic matching. Meanwhile, knowledge paths with indirect semantic relationships with the input text can also be considered via trained encoding between the selected paths in KG and the input text. Experiments on real-world datasets validate the effectiveness of KELP.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 しかし、それらは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 近年,知識グラフ(KGs)から抽出した外部知識を取り入れることで,LCM出力の事実精度の向上が図られている。 しかしながら、既存のほとんどの調査では、LLM自体をKG知識抽出に頼っているため、LLMは特定の知識(例えばKGの知識経路)を使用するべきかという二項判定しかできないため、非常に柔軟である。 加えて、LLMは入力テキストと直接意味関係を持つ知識のみを選択する傾向があり、間接意味論を持つ潜在的に有用な知識は無視できる。 本稿では,上記の問題に対処する3段階のフレームワークKELPを提案する。 具体的には、KELPは、潜在意味マッチングによって入力テキストで知識パスのスコアを生成することで、柔軟な知識抽出のより細かい粒度を実現することができる。 一方、入力テキストと間接的意味関係を持つ知識パスは、KGにおける選択されたパスと入力テキストの間の訓練された符号化によって考えることもできる。 実世界のデータセットの実験は、KELPの有効性を検証する。

関連論文リスト

• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• Ontology Population using LLMs [0.9894420655516563]
  知識グラフ(KG)は、データ統合、表現、可視化にますます活用されている。 LLMはそのようなタスクに有望な機能を提供し、自然言語の理解とコンテンツ生成に優れています。 本研究では、Enslaved.org Hub Ontologyに着目し、KG集団に対するLLMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-03T15:39:20Z)
• KnowGPT: Knowledge Graph based Prompting for Large Language Models [28.605161596626875]
  本稿では,知識グラフに基づく PrompTing フレームワーク,すなわち KnowGPT を導入し,ドメイン知識で大規模言語モデルを強化する。 KnowGPTには、KGから最も情報性の高い知識を抽出する知識抽出モジュールと、抽出した知識を自動的に効果的なプロンプトに変換するコンテキスト対応プロンプト構築モジュールが含まれている。 KnowGPTはOpenbookQAのリーダーボードで92.6%の精度を実現している。
  論文  参考訳（メタデータ） (2023-12-11T07:56:25Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。