論文の概要: Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?

• arxiv url: http://arxiv.org/abs/2311.09109v2
• Date: Thu, 6 Jun 2024 16:01:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:29:50.100246
• Title: Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?
• Title（参考訳）: 事前学習された言語モデルは、知識グラフの補完において、実際には未知のリンクを推測するだろうか?
• Authors: Yusuke Sakai, Hidetaka Kamigaito, Katsuhiko Hayashi, Taro Watanabe,
• Abstract要約: 知識グラフ(KG)は、エンティティ間の関係を記述するリンクである。 知識グラフ補完(英: Knowledge Graph Completion、KGC)は、KG内のエンティティ間の見えない関係を推論するタスクである。 RESCALのような従来の埋め込みベースのKGCメソッドは、トレーニングデータからの知識のみを使用して、欠落したリンクを推測する。 最近のプレトレーニング言語モデル(PLM)に基づくKGCは、事前トレーニング中に得られた知識を利用する。
• 参考スコア（独自算出の注目度）: 32.645448509968226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs (KGs) consist of links that describe relationships between entities. Due to the difficulty of manually enumerating all relationships between entities, automatically completing them is essential for KGs. Knowledge Graph Completion (KGC) is a task that infers unseen relationships between entities in a KG. Traditional embedding-based KGC methods, such as RESCAL, TransE, DistMult, ComplEx, RotatE, HAKE, HousE, etc., infer missing links using only the knowledge from training data. In contrast, the recent Pre-trained Language Model (PLM)-based KGC utilizes knowledge obtained during pre-training. Therefore, PLM-based KGC can estimate missing links between entities by reusing memorized knowledge from pre-training without inference. This approach is problematic because building KGC models aims to infer unseen links between entities. However, conventional evaluations in KGC do not consider inference and memorization abilities separately. Thus, a PLM-based KGC method, which achieves high performance in current KGC evaluations, may be ineffective in practical applications. To address this issue, we analyze whether PLM-based KGC methods make inferences or merely access memorized knowledge. For this purpose, we propose a method for constructing synthetic datasets specified in this analysis and conclude that PLMs acquire the inference abilities required for KGC through pre-training, even though the performance improvements mostly come from textual information of entities and relations.
• Abstract（参考訳）: 知識グラフ(KG)は、エンティティ間の関係を記述するリンクである。 実体間のすべての関係を手動で列挙することが難しいため、KGにとって、それらを自動的に完了することが不可欠である。 知識グラフ補完(英: Knowledge Graph Completion、KGC)は、KG内のエンティティ間の見えない関係を推論するタスクである。 RESCAL、TransE、DistMult、ComplEx、RotatE、HAKE、HousEなどの従来の埋め込みベースのKGCメソッドは、トレーニングデータからの知識のみを使用して、リンク不足を推測する。 対照的に、最近のプレトレーニング言語モデル(PLM)ベースのKGCは、事前トレーニング中に得られた知識を利用する。 したがって、PLMベースのKGCは、推論なしで事前学習から記憶された知識を再利用することで、エンティティ間の欠落したリンクを推定することができる。 KGCモデルの構築は、エンティティ間の見えないリンクを推測することを目的としているため、このアプローチは問題となる。 しかしながら、KGCの従来の評価では、推論能力と記憶能力は別々に考慮されていない。 したがって、現在のKGC評価において高い性能を達成するPLMベースのKGC法は、実用上は非効率である可能性がある。 この問題に対処するために, PLM ベースの KGC 手法が推論を行うか,あるいは単に記憶された知識にアクセスするかを分析する。 本研究では,本分析で特定した合成データセットの構築手法を提案するとともに,PLMが事前学習によってKGCに必要な推論能力を取得することを結論する。

関連論文リスト

• KG-CF: Knowledge Graph Completion with Context Filtering under the Guidance of Large Language Models [55.39134076436266]
  KG-CFはランキングベースの知識グラフ補完タスクに適したフレームワークである。 KG-CFは、LLMの推論能力を活用して、無関係なコンテキストをフィルタリングし、現実世界のデータセットで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-01-06T01:52:15Z)
• Ontology-grounded Automatic Knowledge Graph Construction by LLM under Wikidata schema [60.42231674887294]
  本稿では,Large Language Models (LLMs) を用いた知識グラフ構築のためのオントロジー的アプローチを提案する。 我々は、一貫性と解釈可能性を確保するために、抽出された関係に基づいて、著者によるオントロジーによるKGの基底生成を行う。 我々の研究は、人間の介入を最小限に抑えたスケーラブルなKG建設パイプラインの実現に向けて有望な方向を示し、高品質で人間に解釈可能なKGを生み出す。
  論文  参考訳（メタデータ） (2024-12-30T13:36:05Z)
• A Contextualized BERT model for Knowledge Graph Completion [0.0]
  知識グラフ補完(KGC)のためのコンテキスト化BERTモデルを提案する。 本モデルでは,エンティティ記述や負の三重項サンプリングの必要性を排除し,計算要求を低減し,性能を向上する。 FB15k-237とWN18RRでは,Hit@1が5.3%向上し,4.88%向上した。
  論文  参考訳（メタデータ） (2024-12-15T02:03:16Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model [36.433231939256395]
  グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす 本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
  論文  参考訳（メタデータ） (2023-12-04T12:20:25Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using Confidence-Augmented Reinforcement Learning [24.338098716004485]
  TKGCは、時間的knwoledge graph(TKG)におけるエンティティ間の欠落リンクを予測することを目的としている。 近年,TKG数発アウトオブグラフ(OOG)リンク予測という新たなタスクが提案されている。 本稿では,この課題を解決するために,少数ショット学習と強化学習を組み合わせたTKGC法FITCARLを提案する。
  論文  参考訳（メタデータ） (2023-04-02T20:05:20Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。