Fugu-MT 論文翻訳(概要): LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction

論文の概要: LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction

arxiv url: http://arxiv.org/abs/2201.04843v1
Date: Thu, 13 Jan 2022 09:18:30 GMT
ステータス: 処理完了
システム内更新日: 2022-01-14 13:07:07.239465
Title: LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction
Title（参考訳）: LP-BERT:リンク予測のためのマルチタスク事前学習知識グラフBERT
Authors: Da Li, Ming Yi, Yukai He
Abstract要約: LP-BERTは、マルチタスク事前学習と知識グラフ微調整の2つのトレーニング段階を含む。 WN18RRとUMLSデータセット、特にHits@10インジケータを5%改善した。
参考スコア（独自算出の注目度）: 3.5382535469099436
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Link prediction plays an significant role in knowledge graph, which is an important resource for many artificial intelligence tasks, but it is often limited by incompleteness. In this paper, we propose knowledge graph BERT for link prediction, named LP-BERT, which contains two training stages: multi-task pre-training and knowledge graph fine-tuning. The pre-training strategy not only uses Mask Language Model (MLM) to learn the knowledge of context corpus, but also introduces Mask Entity Model (MEM) and Mask Relation Model (MRM), which can learn the relationship information from triples by predicting semantic based entity and relation elements. Structured triple relation information can be transformed into unstructured semantic information, which can be integrated into the pre-training model together with context corpus information. In the fine-tuning phase, inspired by contrastive learning, we carry out a triple-style negative sampling in sample batch, which greatly increased the proportion of negative sampling while keeping the training time almost unchanged. Furthermore, we propose a data augmentation method based on the inverse relationship of triples to further increase the sample diversity. We achieve state-of-the-art results on WN18RR and UMLS datasets, especially the Hits@10 indicator improved by 5\% from the previous state-of-the-art result on WN18RR dataset.
Abstract（参考訳）: リンク予測は、多くの人工知能タスクにとって重要なリソースである知識グラフにおいて重要な役割を果たすが、不完全性によって制限されることが多い。本稿では,リンク予測のための知識グラフBERTを提案する。LP-BERTは,マルチタスク事前学習と知識グラフ微調整の2つの訓練段階を含む。事前学習戦略は、文脈コーパスの知識を学ぶためにマスク言語モデル(mlm)を使用するだけでなく、意味に基づくエンティティと関係要素を予測してトリプルから関係情報を学習できるマスクエンティティモデル(mem)とマスク関係モデル(mrm)を導入する。構造化三重関係情報を非構造化意味情報に変換することができ、文脈コーパス情報とともに事前学習モデルに統合することができる。比較学習に触発された微調整フェーズでは,サンプルバッチにおける三重型負サンプリングを行い,トレーニング時間をほぼ変わらずに負サンプリングの割合を大きく増加させた。さらに,試料の多様性をさらに高めるために,三重項の逆関係に基づくデータ拡張法を提案する。我々はWN18RRデータセットとUMLSデータセットの最先端結果、特にHits@10インジケータを以前のWN18RRデータセットの最先端結果から5倍改善した。

関連論文リスト

MUSE: Integrating Multi-Knowledge for Knowledge Graph Completion [0.0]
知識グラフ補完(KGC)は、欠落した(リレーション)部分(ヘッドエンティティ)--(リレーション]->(テールエンティティ)三重項を予測することを目的としている。既存のKGCメソッドのほとんどは、単一の特徴(例えば、関係型)やサブグラフアグリゲーションに焦点を当てている。本稿では,知識認識型推論モデル(MUSE)を提案する。
論文参考訳（メタデータ） (2024-09-26T04:48:20Z)
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文参考訳（メタデータ） (2024-06-17T06:20:39Z)
G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
A Condensed Transition Graph Framework for Zero-shot Link Prediction with Large Language Models [20.220781775335645]
ゼロショットリンク予測(CTLP)のための凝縮遷移グラフフレームワークを提案する。 CTLPは、すべてのパス情報を線形時間複雑性でエンコードし、エンティティ間の見えない関係を予測する。提案手法は,3つの標準ZSLPデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-02-16T16:02:33Z)
Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文参考訳（メタデータ） (2022-11-09T18:58:29Z)
SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction [28.87290783250351]
リンク予測は、知識グラフにおけるエンティティ間の欠落したリンクを推測するタスクである。本稿では,知識グラフリンク予測を行うための新しいマルチレベルコントラスト学習フレームワーク(SMiLE)を提案する。
論文参考訳（メタデータ） (2022-10-10T17:40:19Z)
Multimodal Masked Autoencoders Learn Transferable Representations [127.35955819874063]
単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。 M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
論文参考訳（メタデータ） (2022-05-27T19:09:42Z)
Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文参考訳（メタデータ） (2021-10-29T04:01:32Z)
On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文参考訳（メタデータ） (2021-09-08T10:39:57Z)
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction [13.354066085659198]
対比学習は、テキストデータの一般的なデータ拡張方法が不足しているため、自然言語処理では広く利用されていない。本研究では, 対比学習を用いてBERTモデルからのテキスト表現を改善し, 関係抽出を行う手法を検討する。 3つの関係抽出ベンチマークデータセットの実験結果から,本手法がBERTモデル表現を改善し,最新性能を達成できることが示された。
論文参考訳（メタデータ） (2021-04-28T17:50:24Z)
Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。