Fugu-MT 論文翻訳(概要): MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models

論文の概要: MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models

arxiv url: http://arxiv.org/abs/2308.08204v1
Date: Wed, 16 Aug 2023 08:09:10 GMT
ステータス: 処理完了
システム内更新日: 2023-08-17 14:23:56.605050
Title: MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models
Title（参考訳）: MoCoSA: 構造化事前学習言語モデルによる知識グラフ補完のためのMomentum Contrast
Authors: Jiabang He, Liu Jia, Lei Wang, Xiyao Li, Xing Xu
Abstract要約: 構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。また,WN18RRでは2.5%,OpenBG500では21%向上した。
参考スコア（独自算出の注目度）: 11.57782182864771
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge Graph Completion (KGC) aims to conduct reasoning on the facts within knowledge graphs and automatically infer missing links. Existing methods can mainly be categorized into structure-based or description-based. On the one hand, structure-based methods effectively represent relational facts in knowledge graphs using entity embeddings. However, they struggle with semantically rich real-world entities due to limited structural information and fail to generalize to unseen entities. On the other hand, description-based methods leverage pre-trained language models (PLMs) to understand textual information. They exhibit strong robustness towards unseen entities. However, they have difficulty with larger negative sampling and often lag behind structure-based methods. To address these issues, in this paper, we propose Momentum Contrast for knowledge graph completion with Structure-Augmented pre-trained language models (MoCoSA), which allows the PLM to perceive the structural information by the adaptable structure encoder. To improve learning efficiency, we proposed momentum hard negative and intra-relation negative sampling. Experimental results demonstrate that our approach achieves state-of-the-art performance in terms of mean reciprocal rank (MRR), with improvements of 2.5% on WN18RR and 21% on OpenBG500.
Abstract（参考訳）: 知識グラフ補完(kgc)は知識グラフ内の事実を推論し、欠落したリンクを自動的に推測することを目的としている。既存の手法は主に構造ベースまたは記述ベースに分類される。一方、構造に基づく手法は、実体埋め込みを用いた知識グラフにおける関係事実を効果的に表現する。しかし、限られた構造情報のために意味的にリッチな現実世界の実体と格闘し、目に見えない実体に一般化することができない。一方、記述に基づく手法は、事前学習された言語モデル(PLM)を利用してテキスト情報を理解する。それらは目に見えない実体に対して強い強固さを示す。しかし、大きな負のサンプリングでは困難であり、しばしば構造ベースの方法に遅れる。そこで本研究では,plm が構造エンコーダによって構造情報を知覚できる構造適応型事前学習言語モデル (mocosa) を用いた知識グラフ補完のための運動量コントラストを提案する。学習効率を向上させるため,モーメント・ハード・ネガティブとイントラリレーション・ネガティブ・サンプリングを提案した。実験の結果,WN18RRでは2.5%,OpenBG500では21%の改善が得られた。

関連論文リスト

Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文参考訳（メタデータ） (2024-09-09T12:56:02Z)
G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文参考訳（メタデータ） (2024-03-04T12:16:15Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
Unifying Structure and Language Semantic for Efficient Contrastive Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
論文参考訳（メタデータ） (2023-11-07T11:17:55Z)
Investigating Graph Structure Information for Entity Alignment with Dangling Cases [31.779386064600956]
エンティティアライメントは、異なる知識グラフ(KG)における等価なエンティティを見つけることを目的としている。 Weakly-optimal Graph Contrastive Learning (WOGCL) と呼ばれる新しいエンティティアライメントフレームワークを提案する。 We show that WOGCL are outperforms the current-of-the-art method with pure structure information in traditional (relaxed) and dangling settings。
論文参考訳（メタデータ） (2023-04-10T17:24:43Z)
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文参考訳（メタデータ） (2022-09-19T02:41:02Z)
Language Models as Knowledge Embeddings [26.384327693266837]
本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
論文参考訳（メタデータ） (2022-06-25T10:39:12Z)
Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文参考訳（メタデータ） (2020-10-24T07:13:00Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。