論文の概要: Knowledge Graph-Enhanced Large Language Models via Path Selection

• arxiv url: http://arxiv.org/abs/2406.13862v1
• Date: Wed, 19 Jun 2024 21:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:06:06.793777
• Title: Knowledge Graph-Enhanced Large Language Models via Path Selection
• Title（参考訳）: パス選択による知識グラフ強化大言語モデル
• Authors: Haochen Liu, Song Wang, Yaochen Zhu, Yushun Dong, Jundong Li,
• Abstract要約: 大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
• 参考スコア（独自算出の注目度）: 58.228392005755026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown unprecedented performance in various real-world applications. However, they are known to generate factually inaccurate outputs, a.k.a. the hallucination problem. In recent years, incorporating external knowledge extracted from Knowledge Graphs (KGs) has become a promising strategy to improve the factual accuracy of LLM-generated outputs. Nevertheless, most existing explorations rely on LLMs themselves to perform KG knowledge extraction, which is highly inflexible as LLMs can only provide binary judgment on whether a certain knowledge (e.g., a knowledge path in KG) should be used. In addition, LLMs tend to pick only knowledge with direct semantic relationship with the input text, while potentially useful knowledge with indirect semantics can be ignored. In this work, we propose a principled framework KELP with three stages to handle the above problems. Specifically, KELP is able to achieve finer granularity of flexible knowledge extraction by generating scores for knowledge paths with input texts via latent semantic matching. Meanwhile, knowledge paths with indirect semantic relationships with the input text can also be considered via trained encoding between the selected paths in KG and the input text. Experiments on real-world datasets validate the effectiveness of KELP.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 しかし、それらは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 近年,知識グラフ(KGs)から抽出した外部知識を取り入れることで,LCM出力の事実精度の向上が図られている。 しかしながら、既存のほとんどの調査では、LLM自体をKG知識抽出に頼っているため、LLMは特定の知識(例えばKGの知識経路)を使用するべきかという二項判定しかできないため、非常に柔軟である。 加えて、LLMは入力テキストと直接意味関係を持つ知識のみを選択する傾向があり、間接意味論を持つ潜在的に有用な知識は無視できる。 本稿では,上記の問題に対処する3段階のフレームワークKELPを提案する。 具体的には、KELPは、潜在意味マッチングによって入力テキストで知識パスのスコアを生成することで、柔軟な知識抽出のより細かい粒度を実現することができる。 一方、入力テキストと間接的意味関係を持つ知識パスは、KGにおける選択されたパスと入力テキストの間の訓練された符号化によって考えることもできる。 実世界のデータセットの実験は、KELPの有効性を検証する。

関連論文リスト

• Combining Knowledge Graphs and Large Language Models [4.991122366385628]
  大規模言語モデル(LLM)は、言語理解と生成において驚くべき結果を示す。 幻覚やドメイン固有の知識の欠如など、いくつかの欠点がある。 これらの問題は知識グラフ(KG)を組み込むことで効果的に緩和することができる。 本研究は、KGを用いたLLM、LLMベースのKG、LLM-KGハイブリッドアプローチに関する28の論文の概要をまとめた。
  論文  参考訳（メタデータ） (2024-07-09T05:42:53Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• KnowGPT: Knowledge Graph based Prompting for Large Language Models [28.605161596626875]
  本稿では,知識グラフに基づく PrompTing フレームワーク,すなわち KnowGPT を導入し,ドメイン知識で大規模言語モデルを強化する。 KnowGPTには、KGから最も情報性の高い知識を抽出する知識抽出モジュールと、抽出した知識を自動的に効果的なプロンプトに変換するコンテキスト対応プロンプト構築モジュールが含まれている。 KnowGPTはOpenbookQAのリーダーボードで92.6%の精度を実現している。
  論文  参考訳（メタデータ） (2023-12-11T07:56:25Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。