論文の概要: SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2203.02167v1
• Date: Fri, 4 Mar 2022 07:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 20:34:43.665660
• Title: SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models
• Title（参考訳）: SimKGC: 事前学習言語モデルによる単純なコントラスト知識グラフ補完
• Authors: Liang Wang, Wei Zhao, Zhuoyu Wei, Jingming Liu
• Abstract要約: 本稿では, 単純負の形式として機能する, バッチ内負, バッチ前負, 自己負の3種類の負を導入する。 提案モデルであるSimKGCは,いくつかのベンチマークデータセットにおいて,埋め込みに基づく手法を大幅に上回ることができる。 平均相互ランク(MRR)に関しては、WN18RRでは+19%、Wikidata5Mでは+6.8%、Wikidata5Mでは+22%である。
• 参考スコア（独自算出の注目度）: 9.063614185765855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph completion (KGC) aims to reason over known facts and infer the missing links. Text-based methods such as KGBERT (Yao et al., 2019) learn entity representations from natural language descriptions, and have the potential for inductive KGC. However, the performance of text-based methods still largely lag behind graph embedding-based methods like TransE (Bordes et al., 2013) and RotatE (Sun et al., 2019b). In this paper, we identify that the key issue is efficient contrastive learning. To improve the learning efficiency, we introduce three types of negatives: in-batch negatives, pre-batch negatives, and self-negatives which act as a simple form of hard negatives. Combined with InfoNCE loss, our proposed model SimKGC can substantially outperform embedding-based methods on several benchmark datasets. In terms of mean reciprocal rank (MRR), we advance the state-of-the-art by +19% on WN18RR, +6.8% on the Wikidata5M transductive setting, and +22% on the Wikidata5M inductive setting. Thorough analyses are conducted to gain insights into each component. Our code is available at https://github.com/intfloat/SimKGC .
• Abstract（参考訳）: 知識グラフ補完(KGC)は、既知の事実を推論し、欠落したリンクを推測することを目的としている。 KGBERT (Yao et al., 2019)のようなテキストベースの手法は、自然言語の記述から実体表現を学習し、帰納的KGCの可能性を秘めている。 しかし、テキストベースの手法の性能は、TransE (Bordes et al., 2013) やRotatE (Sun et al., 2019b) のようなグラフ埋め込み方式に大きく遅れている。 本稿では,効率的なコントラスト学習が鍵となる課題を明らかにする。 学習効率を向上させるために,本研究では, ハードネガティブの単純な形式として機能する, 内バッチ陰性, 前バッチ陰性, 自己負の3種類の負を導入する。 InfoNCEの損失と組み合わせることで、提案モデルSimKGCは、いくつかのベンチマークデータセット上の埋め込みベースのメソッドを大幅に上回ることができる。 平均相互ランク(MRR)に関しては、WN18RRでは+19%、Wikidata5Mでは+6.8%、Wikidata5Mでは+22%である。 各コンポーネントに関する洞察を得るために、詳細な分析が行われる。 私たちのコードはhttps://github.com/intfloat/SimKGCで利用可能です。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models [11.57782182864771]
  構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。 また,WN18RRでは2.5%,OpenBG500では21%向上した。
  論文  参考訳（メタデータ） (2023-08-16T08:09:10Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Out-of-Vocabulary Entities in Link Prediction [1.9036571490366496]
  リンク予測はしばしば、埋め込みの品質を評価するプロキシとして使用される。 ベンチマークはアルゴリズムの公正な比較に欠かせないため、より良いソリューションを開発するための確固たる基盤を提供するため、その品質が確実に確保される。 我々は、そのようなエンティティの発見と削除のためのアプローチの実装を提供し、データセットWN18RR、FB15K-237、YAGO3-10の修正版を提供する。
  論文  参考訳（メタデータ） (2021-05-26T12:58:18Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Knowledge Base Completion: Baseline strikes back (Again) [36.52445566431404]
  知識ベースコンプリート(KBC)は近年,非常に活発な分野である。 最近の進歩により、トレーニングに利用可能なすべての負のサンプルを使用できるようになりました。 利用可能なすべての負のサンプルを使用してトレーニングされた場合、Complexは、すべてのデータセットに対してほぼ最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-05-02T11:53:22Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。