論文の概要: Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation

• arxiv url: http://arxiv.org/abs/2411.06660v1
• Date: Mon, 11 Nov 2024 01:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:57.727826
• Title: Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation
• Title（参考訳）: Bridge: 言語モデルと知識表現による知識グラフ補完のための統一フレームワーク
• Authors: Qiao Qiao, Yuepei Li, Qing Wang, Kang Zhou, Qi Li,
• Abstract要約: 我々は、知識グラフ(KG)の構造と意味情報を共同で符号化するブリッジと呼ばれる新しいフレームワークを提案する。 具体的には、PLMのセマンティック知識をよりよく活用するために、PLMによって個別にエンティティと関係を戦略的に符号化する。 我々は、KGとPLMのギャップを埋めるために、BYOLと呼ばれる自己教師付き表現学習法を用いて、3重の異なる2つの視点でPLMを微調整する。
• 参考スコア（独自算出の注目度）: 14.801411392475439
• License:
• Abstract: Knowledge graph completion (KGC) is a task of inferring missing triples based on existing Knowledge Graphs (KGs). Both structural and semantic information are vital for successful KGC. However, existing methods only use either the structural knowledge from the KG embeddings or the semantic information from pre-trained language models (PLMs), leading to suboptimal model performance. Moreover, since PLMs are not trained on KGs, directly using PLMs to encode triples may be inappropriate. To overcome these limitations, we propose a novel framework called Bridge, which jointly encodes structural and semantic information of KGs. Specifically, we strategically encode entities and relations separately by PLMs to better utilize the semantic knowledge of PLMs and enable structured representation learning via a structural learning principle. Furthermore, to bridge the gap between KGs and PLMs, we employ a self-supervised representation learning method called BYOL to fine-tune PLMs with two different views of a triple. Unlike BYOL, which uses augmentation methods to create two semantically similar views of the same image, potentially altering the semantic information. We strategically separate the triple into two parts to create different views, thus avoiding semantic alteration. Experiments demonstrate that Bridge outperforms the SOTA models on three benchmark datasets.
• Abstract（参考訳）: 知識グラフ補完(KGC)は、既存の知識グラフ(KG)に基づいて欠落した三つ組を推定するタスクである。 構造情報も意味情報もKGCの成功に不可欠である。 しかし、既存の手法では、KG埋め込みからの構造的知識か、事前訓練された言語モデル(PLM)からの意味情報しか使用せず、最適化されたモデルの性能をもたらす。 さらに、PLMはKGで訓練されていないため、PLMを使ってトリプルをエンコードするのは不適切かもしれない。 これらの制約を克服するために,KGの構造情報と意味情報を共同で符号化するBridgeという新しいフレームワークを提案する。 具体的には、PLMのセマンティック知識をよりよく活用し、構造学習原理による構造化表現学習を可能にするために、PLMによって個別にエンティティと関係を戦略的に符号化する。 さらに、KGとPLMのギャップを埋めるために、BYOLと呼ばれる自己教師型表現学習法を用いて、トリプルの2つの異なる視点でPLMを微調整する。 BYOLとは違い、Augmentationメソッドを使用して同じイメージの2つのセマンティックに類似したビューを生成し、セマンティック情報を変更する可能性がある。 3つを戦略的に2つに分けて、異なるビューを作成し、セマンティックな変更を避けます。 実験によると、Bridgeは3つのベンチマークデータセットでSOTAモデルより優れている。

関連論文リスト

• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment [31.70064035432789]
  LLMEA(Large Language Model-enhanced Entity Alignment Framework)を提案する。 LLMEAは、知識グラフにまたがるエンティティ間の類似性を埋め込んだり、仮想の等価エンティティとの距離を編集することで、特定のエンティティの候補アライメントを識別する。 3つの公開データセットで実施された実験により、LLMEAが主要なベースラインモデルを上回ることが判明した。
  論文  参考訳（メタデータ） (2024-01-30T12:41:04Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Investigating Graph Structure Information for Entity Alignment with Dangling Cases [31.779386064600956]
  エンティティアライメントは、異なる知識グラフ(KG)における等価なエンティティを見つけることを目的としている。 Weakly-optimal Graph Contrastive Learning (WOGCL) と呼ばれる新しいエンティティアライメントフレームワークを提案する。 We show that WOGCL are outperforms the current-of-the-art method with pure structure information in traditional (relaxed) and dangling settings。
  論文  参考訳（メタデータ） (2023-04-10T17:24:43Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• On the Role of Conceptualization in Commonsense Knowledge Graph Construction [59.39512925793171]
  アトミックやASERのような常識知識グラフ(CKG)は、従来のKGと大きく異なる。 本稿では, CKG の概念化手法を紹介し, テキストに記述されたエンティティを特定の概念のインスタンスとみなすか, あるいはその逆を例に紹介する。 提案手法は, 可塑性三重項を効果的に同定し, 新たなノードの3重項と, 多様性と新規性の両端項によってKGを拡張できる。
  論文  参考訳（メタデータ） (2020-03-06T14:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。