論文の概要: Pyramid-Driven Alignment: Pyramid Principle Guided Integration of Large Language Models and Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2410.12298v1
- Date: Wed, 16 Oct 2024 06:57:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:44:25.200310
- Title: Pyramid-Driven Alignment: Pyramid Principle Guided Integration of Large Language Models and Knowledge Graphs
- Title(参考訳): ピラミッド駆動アライメント: ピラミッド原理による大規模言語モデルと知識グラフの統合
- Authors: Lei Sun, Xinchen Wang, Youdi Li,
- Abstract要約: 大きな言語モデル(LLM)は印象的な推論能力を持っているが、誤った情報を生成する傾向があり、しばしば幻覚と呼ばれる。
既存の手法は主に外部知識グラフ(KG)を静的知識リポジトリとして扱い、KGとLLMの知識の重大な相違を見越す。
本稿では,LLMとKGをシームレスに統合する新しいフレームワークであるPDAを提案する。
- 参考スコア(独自算出の注目度): 3.2752926282527635
- License:
- Abstract: Large Language Models (LLMs) possess impressive reasoning abilities but are prone to generating incorrect information, often referred to as hallucinations. While incorporating external Knowledge Graphs (KGs) can partially mitigate this issue, existing methods primarily treat KGs as static knowledge repositories, overlooking the critical disparity between KG and LLM knowledge, and failing to fully exploit the reasoning capabilities inherent in KGs. To address these limitations, we propose Pyramid-Driven Alignment (PDA), a novel framework for seamlessly integrating LLMs with KGs. PDA utilizes Pyramid Principle analysis to construct a hierarchical pyramid structure. This structure is designed to reflect the input question and generate more validated deductive knowledge, thereby enhancing the alignment of LLMs and KGs and ensuring more cohesive integration. Furthermore, PDA employs a recursive mechanism to harness the underlying reasoning abilities of KGs, resulting in more accurate knowledge retrieval for question-answering tasks. Our experimental results reveal a substantial performance advantage of PDA over state-of-the-art baselines, with improvements reaching 26.70% and 26.78%.
- Abstract(参考訳): 大きな言語モデル(LLM)は印象的な推論能力を持っているが、誤った情報を生成する傾向があり、しばしば幻覚と呼ばれる。
外部知識グラフ(KG)を組み込むことによって、この問題を部分的に軽減することができるが、既存の手法は主にKGを静的知識リポジトリとして扱う。
これらの制約に対処するため,LLMとKGをシームレスに統合する新しいフレームワークであるPDA(Praamid-Driven Alignment)を提案する。
PDAはピラミッド原理解析を用いて階層的なピラミッド構造を構築する。
この構造は、入力された質問を反映し、より検証された推論的知識を生成し、LLMとKGのアライメントを強化し、より密接な統合を保証するように設計されている。
さらに、PDAは、KGの基本的な推論能力を活用するために再帰的なメカニズムを採用し、質問応答タスクのより正確な知識検索を実現する。
実験の結果,最先端のベースラインよりもPDAが大幅に向上し,26.70%,26.78%に向上した。
関連論文リスト
- Combining Knowledge Graphs and Large Language Models [4.991122366385628]
大規模言語モデル(LLM)は、言語理解と生成において驚くべき結果を示す。
幻覚やドメイン固有の知識の欠如など、いくつかの欠点がある。
これらの問題は知識グラフ(KG)を組み込むことで効果的に緩和することができる。
本研究は、KGを用いたLLM、LLMベースのKG、LLM-KGハイブリッドアプローチに関する28の論文の概要をまとめた。
論文 参考訳(メタデータ) (2024-07-09T05:42:53Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳(メタデータ) (2024-06-19T21:45:20Z) - KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。
本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。
ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
論文 参考訳(メタデータ) (2024-05-20T14:03:05Z) - Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
論文 参考訳(メタデータ) (2024-04-23T04:47:22Z) - Enhancing Large Language Models with Pseudo- and Multisource- Knowledge
Graphs for Open-ended Question Answering [23.88063210973303]
Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。
ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
論文 参考訳(メタデータ) (2024-02-15T12:20:02Z) - Faithful Knowledge Graph Explanations for Commonsense Reasoning [7.242609314791262]
言語モデル(LM)と知識グラフ(KG)の融合は、常識的質問応答において広く利用されている。
現在の手法は、しばしば忠実さをデコードするパスを見落とし、グラフエンコーダ出力とモデル予測の間にばらつきをもたらす。
本研究は,LM-KGのミスアライメントと相反する効果を,突発的な説明を引き起こす重要な要因として同定する。
論文 参考訳(メタデータ) (2023-10-07T20:29:45Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳(メタデータ) (2022-07-14T10:16:56Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳(メタデータ) (2022-06-28T19:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。