論文の概要: Large Language Models Can Better Understand Knowledge Graphs Than We Thought
- arxiv url: http://arxiv.org/abs/2402.11541v3
- Date: Sun, 16 Jun 2024 14:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 06:06:06.653643
- Title: Large Language Models Can Better Understand Knowledge Graphs Than We Thought
- Title(参考訳): 大規模言語モデルは、思った以上に知識グラフを理解することができる
- Authors: Xinbang Dai, Yuncheng Hua, Tongtong Wu, Yang Sheng, Qiu Ji, Guilin Qi,
- Abstract要約: 知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。
現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。
非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
- 参考スコア(独自算出の注目度): 13.336418752729987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the parameter scale of large language models (LLMs) grows, jointly training knowledge graph (KG) embeddings with model parameters to enhance LLM capabilities becomes increasingly costly. Consequently, the community has shown interest in developing prompt strategies that effectively integrate KG information into LLMs. However, the format for incorporating KGs into LLMs lacks standardization; for instance, KGs can be transformed into linearized triples or natural language (NL) text. Current prompting methods often rely on a trial-and-error approach, leaving researchers with an incomplete understanding of which KG input format best facilitates LLM comprehension of KG content. To elucidate this, we design a series of experiments to explore LLMs' understanding of different KG input formats within the context of prompt engineering. Our analysis examines both literal and attention distribution levels. Through extensive experiments, we indicate a counter-intuitive phenomenon: when addressing fact-related questions, unordered linearized triples are more effective for LLMs' understanding of KGs compared to fluent NL text. Furthermore, noisy, incomplete, or marginally relevant subgraphs can still enhance LLM performance. Finally, different LLMs have distinct preferences for different formats of organizing unordered triples.
- Abstract(参考訳): 大規模言語モデル(LLM)のパラメータスケールが大きくなるにつれて、LLM能力を高めるためにモデルパラメータを組み込んだ知識グラフ(KG)を共同で訓練するコストが増大する。
その結果、コミュニティはKG情報をLLMに効果的に統合する迅速な戦略開発に関心を示してきた。
しかし、KGをLLMに組み込む形式は標準化に欠けており、例えば、KGは線形化された三重項や自然言語(NL)テキストに変換することができる。
現在のプロンプト法はしばしば試行錯誤法に依存しており、研究者はKG入力形式がどのKGコンテンツのLLM理解を最も促進するかを不完全な理解で残している。
そこで我々は,様々なKG入力形式に対するLCMの理解を,プロンプトエンジニアリングの文脈内で研究するための一連の実験を設計した。
本分析では,リテラル分布とアテンション分布の双方について検討する。
事実関連問題に対処する場合, 線形化されていない三重項は, 流動的なNLテキストに比べてLLMのKG理解に有効である。
さらに、ノイズ、不完全、あるいは辺縁関係のサブグラフはLLM性能を向上することができる。
最後に、異なるLLMは、順序のないトリプルを整理する異なるフォーマットをそれぞれ好んでいる。
関連論文リスト
- Ontology Population using LLMs [0.9894420655516563]
知識グラフ(KG)は、データ統合、表現、可視化にますます活用されている。
LLMはそのようなタスクに有望な機能を提供し、自然言語の理解とコンテンツ生成に優れています。
本研究では、Enslaved.org Hub Ontologyに着目し、KG集団に対するLLMの有効性について検討した。
論文 参考訳(メタデータ) (2024-11-03T15:39:20Z) - Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。
まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。
LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
論文 参考訳(メタデータ) (2024-10-16T04:44:34Z) - MKGL: Mastery of a Three-Word Language [48.04522048179973]
専門的なKG言語(KGL)を導入し、ある文は、エンティティ名詞、関係動詞、そして他のエンティティ名詞で終わる。
KGLのLLMに対する不慣れな語彙にもかかわらず、我々はその学習を調整された辞書とイラストレーション文を通して促進する。
以上の結果から,従来のKG埋め込み法と比較して,LLMはKGLの流速を著しく低減できることがわかった。
論文 参考訳(メタデータ) (2024-10-10T01:39:26Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Combining Knowledge Graphs and Large Language Models [4.991122366385628]
大規模言語モデル(LLM)は、言語理解と生成において驚くべき結果を示す。
幻覚やドメイン固有の知識の欠如など、いくつかの欠点がある。
これらの問題は知識グラフ(KG)を組み込むことで効果的に緩和することができる。
本研究は、KGを用いたLLM、LLMベースのKG、LLM-KGハイブリッドアプローチに関する28の論文の概要をまとめた。
論文 参考訳(メタデータ) (2024-07-09T05:42:53Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳(メタデータ) (2024-06-19T21:45:20Z) - Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。
我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。
実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
論文 参考訳(メタデータ) (2024-05-10T15:10:20Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs
for Fact-aware Language Modeling [34.59678835272862]
代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。
本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。
KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
論文 参考訳(メタデータ) (2023-06-20T12:21:06Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。