論文の概要: Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?

• arxiv url: http://arxiv.org/abs/2311.09109v1
• Date: Wed, 15 Nov 2023 16:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 15:06:30.328404
• Title: Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?
• Title（参考訳）: 事前学習された言語モデルは、実際には知識グラフ補完において見当たらないリンクを推測しているのか?
• Authors: Yusuke Sakai, Hidetaka Kamigaito, Katsuhiko Hayashi, Taro Watanabe
• Abstract要約: 知識グラフ(KG)は、エンティティ間の関係を記述するリンクである。 知識グラフ補完(英: Knowledge Graph Completion、KGC)は、KG内のエンティティ間の見えない関係を推論するタスクである。 RESCALのような従来の埋め込みベースのKGCメソッドは、トレーニングデータからの知識のみを使用して、欠落したリンクを推測する。 最近のプレトレーニング言語モデル(PLM)に基づくKGCは、事前トレーニング中に得られた知識を利用する。
• 参考スコア（独自算出の注目度）: 35.66280726410967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs (KGs) consist of links that describe relationships between entities. Due to the difficulty of manually enumerating all relationships between entities, automatically completing them is essential for KGs. Knowledge Graph Completion (KGC) is a task that infers unseen relationships between entities in a KG. Traditional embedding-based KGC methods, such as RESCAL, TransE, DistMult, ComplEx, RotatE, HAKE, HousE, etc., infer missing links using only the knowledge from training data. In contrast, the recent Pre-trained Language Model (PLM)-based KGC utilizes knowledge obtained during pre-training. Therefore, PLM-based KGC can estimate missing links between entities by reusing memorized knowledge from pre-training without inference. This approach is problematic because building KGC models aims to infer unseen links between entities. However, conventional evaluations in KGC do not consider inference and memorization abilities separately. Thus, a PLM-based KGC method, which achieves high performance in current KGC evaluations, may be ineffective in practical applications. To address this issue, we analyze whether PLM-based KGC methods make inferences or merely access memorized knowledge. For this purpose, we propose a method for constructing synthetic datasets specified in this analysis and conclude that PLMs acquire the inference abilities required for KGC through pre-training, even though the performance improvements mostly come from textual information of entities and relations.
• Abstract（参考訳）: 知識グラフ(KG)は、エンティティ間の関係を記述するリンクである。 エンティティ間のすべての関係を手動で列挙することが難しいため、自動補完はkgsにとって不可欠である。 知識グラフ補完(英: Knowledge Graph Completion、KGC)は、KG内のエンティティ間の見えない関係を推論するタスクである。 RESCAL、TransE、DistMult、ComplEx、RotatE、HAKE、HousEなどの従来の埋め込みベースのKGCメソッドは、トレーニングデータからの知識のみを使用して、リンク不足を推測する。 対照的に、最近のプレトレーニング言語モデル(PLM)ベースのKGCは、事前トレーニング中に得られた知識を利用する。 したがって、PLMベースのKGCは、推論なしで事前学習から記憶された知識を再利用することで、エンティティ間の欠落リンクを推定することができる。 KGCモデルの構築は、エンティティ間の見えないリンクを推測することを目的としているため、このアプローチは問題となる。 しかし、kgcの従来の評価では推論と記憶能力は別々に考慮されていない。 したがって、現在の KGC 評価において高い性能を達成する PLM ベースの KGC 法は、実用上は有効ではない。 この問題に対処するために, PLM ベースの KGC 手法が推論を行うか,あるいは単に記憶された知識にアクセスするかを分析する。 そこで本研究では,本解析で特定された合成データセットを構築する手法を提案し,その性能改善は主にエンティティと関係のテキスト情報によるものであるにもかかわらず,事前学習によってkgcに必要な推論能力をplmが獲得することを示す。

関連論文リスト

• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model [38.00241874974804]
  グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす 本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
  論文  参考訳（メタデータ） (2023-12-04T12:20:25Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using Confidence-Augmented Reinforcement Learning [24.338098716004485]
  TKGCは、時間的knwoledge graph(TKG)におけるエンティティ間の欠落リンクを予測することを目的としている。 近年,TKG数発アウトオブグラフ(OOG)リンク予測という新たなタスクが提案されている。 本稿では,この課題を解決するために,少数ショット学習と強化学習を組み合わせたTKGC法FITCARLを提案する。
  論文  参考訳（メタデータ） (2023-04-02T20:05:20Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• EngineKGI: Closed-Loop Knowledge Graph Inference [37.15381932994768]
  EngineKGIは、新しいクローズドループKG推論フレームワークである。 KGEとルール学習を組み合わせて、クローズドループパターンで相互に補完する。 我々のモデルはリンク予測タスクにおいて、他のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-12-02T08:02:59Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。