論文の概要: Exploring Large Language Models for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2308.13916v4
- Date: Sun, 18 Feb 2024 07:35:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 06:12:36.506088
- Title: Exploring Large Language Models for Knowledge Graph Completion
- Title(参考訳): 知識グラフ補完のための大規模言語モデル探索
- Authors: Liang Yao, Jiazhen Peng, Chengsheng Mao, Yuan Luo
- Abstract要約: 我々は知識グラフのトリプルをテキストシーケンスとみなし、知識グラフLLMと呼ばれる革新的なフレームワークを導入する。
提案手法では,三重項の実体的記述と関係的記述をプロンプトとして利用し,その応答を予測に利用する。
種々のベンチマーク知識グラフを用いた実験により,三重分類や関係予測といったタスクにおいて,本手法が最先端の性能を達成することを示す。
- 参考スコア(独自算出の注目度): 17.139056629060626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge graphs play a vital role in numerous artificial intelligence tasks,
yet they frequently face the issue of incompleteness. In this study, we explore
utilizing Large Language Models (LLM) for knowledge graph completion. We
consider triples in knowledge graphs as text sequences and introduce an
innovative framework called Knowledge Graph LLM (KG-LLM) to model these
triples. Our technique employs entity and relation descriptions of a triple as
prompts and utilizes the response for predictions. Experiments on various
benchmark knowledge graphs demonstrate that our method attains state-of-the-art
performance in tasks such as triple classification and relation prediction. We
also find that fine-tuning relatively smaller models (e.g., LLaMA-7B,
ChatGLM-6B) outperforms recent ChatGPT and GPT-4.
- Abstract(参考訳): 知識グラフは多くの人工知能タスクにおいて重要な役割を果たすが、不完全性の問題にしばしば直面する。
本研究では,Large Language Models (LLM) を用いて知識グラフの補完を行う。
我々は知識グラフのトリプルをテキストシーケンスとみなし、これらのトリプルをモデル化するための知識グラフ LLM (KG-LLM) と呼ばれる革新的なフレームワークを導入する。
提案手法では,三重項の実体記述と関係記述を用いて,その応答を予測に利用する。
ベンチマークナレッジグラフを用いた実験により,トリプル分類や関係予測などのタスクにおいて,最先端の性能が得られることが示された。
また、微調整モデル(LLaMA-7B、ChatGLM-6B)が最近のChatGPTおよびGPT-4より優れていることも見出した。
関連論文リスト
- Narrating Causal Graphs with Large Language Models [1.437446768735628]
本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。
これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。
結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
論文 参考訳(メタデータ) (2024-03-11T19:19:59Z) - Rendering Graphs for Graph Reasoning in Multimodal Large Language Models [25.787348071391595]
本稿では,視覚情報をグラフ推論タスクに組み込む第一歩として,新しいベンチマークGITQAを提案する。
我々は、最先端のマルチモーダルLLMを用いて、GITQAベンチマークで広範な実験を行う。
その結果,テキスト情報と視覚情報の組み合わせは,一つのモダリティを単独で使用するよりも優れていた。
論文 参考訳(メタデータ) (2024-02-03T12:19:47Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language
Models [53.09723678623779]
本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。
その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。
TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
論文 参考訳(メタデータ) (2023-05-24T22:09:35Z) - A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic,
and Multimodal [57.8455911689554]
知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。
質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
論文 参考訳(メタデータ) (2022-12-12T08:40:04Z) - Knowledge Graph Refinement based on Triplet BERT-Networks [0.0]
本稿では,知識グラフ内のエンティティや関係に関する情報を集約する埋め込み空間を作成するトランスフォーマーベースの三重項ネットワークを採用する。
事実からテキストシーケンスを生成し、事前訓練されたトランスフォーマーベースの言語モデルのトリプルトネットワークを微調整する。
これら2つの改良作業の最先端性能に対して, GilBERT は, より優れた, あるいは同等な結果が得られることを示す。
論文 参考訳(メタデータ) (2022-11-18T19:01:21Z) - Tucker decomposition-based Temporal Knowledge Graph Completion [35.56360622521721]
次数4テンソルのタッカー分解にインスパイアされた時間知識グラフ補完のための新しいテンソル分解モデルを構築する。
提案モデルは完全に表現力のあるモデルであることが実証され、いくつかの公開ベンチマークに対して最先端の結果が報告される。
論文 参考訳(メタデータ) (2020-11-16T07:05:52Z) - Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。
本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。
我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
論文 参考訳(メタデータ) (2020-07-16T16:05:34Z) - ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。
我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。
本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
論文 参考訳(メタデータ) (2020-04-30T14:16:19Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。