論文の概要: Investigating the Effect of Hard Negative Sample Distribution on Contrastive Knowledge Graph Embedding

• arxiv url: http://arxiv.org/abs/2305.10563v1
• Date: Wed, 17 May 2023 20:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:10:11.661573
• Title: Investigating the Effect of Hard Negative Sample Distribution on Contrastive Knowledge Graph Embedding
• Title（参考訳）: ハード負のサンプル分布がコントラスト知識グラフ埋め込みに及ぼす影響の検討
• Authors: Honggen Zhang, June Zhang
• Abstract要約: 本稿では、知識グラフのグラフ構造を用いて、偽陰性三重項を除去する新しい負のサンプル分布を提案する。 我々のアルゴリズムであるHardness and Structure-aware (textbfHaSa) は、WN18RRとFB15k-237データセットのいくつかの指標において、最先端のKGE手法よりも優れている。
• 参考スコア（独自算出の注目度）: 2.030567625639093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of the knowledge graph completion task heavily depends on the quality of the knowledge graph embeddings (KGEs), which relies on self-supervised learning and augmenting the dataset with negative triples. There is a gap in literature between the theoretical analysis of negative samples on contrastive loss and heuristic generation of quality (i.e., hard) negative triples. In this paper, we modify the InfoNCE loss to explicitly account for the negative sample distribution. We show minimizing InfoNCE loss with hard negatives maximizes the KL-divergence between the given and negative triple embedding. However, we also show that hard negatives can lead to false negatives (i.e., accidentally factual triples) and reduce downstream task performance. To address this issue, we propose a novel negative sample distribution that uses the graph structure of the knowledge graph to remove the false negative triples. We call our algorithm Hardness and Structure-aware (\textbf{HaSa}) contrastive KGE. Experiments show that our method outperforms state-of-the-art KGE methods in several metrics for WN18RR and FB15k-237 datasets.
• Abstract（参考訳）: 知識グラフ補完タスクの成功は、自己教師付き学習と負の三重項によるデータセットの増強に依存する知識グラフ埋め込み(KGE)の品質に大きく依存する。 対照的な損失に関する負のサンプルの理論的分析と、(ハード)負の三重項の品質のヒューリスティックな生成の間には、文献のギャップがある。 本稿では,負のサンプル分布を明示的に考慮するために情報損失を修正した。 強負によるInfoNCE損失の最小化は、与えられた3重埋め込みと負の埋め込みのKL分割を最大化する。 しかし、強陰性は偽陰性(誤三重)を引き起こし、下流タスク性能を低下させることも示している。 この問題に対処するために,知識グラフのグラフ構造を用いて偽陰性三重項を除去する新しい負のサンプル分布を提案する。 我々はアルゴリズムをHardness and Structure-Aware (\textbf{HaSa}) contrastive KGEと呼ぶ。 実験により,wn18rr と fb15k-237 データセットのいくつかの指標において,最先端の kge メソッドよりも優れることを示す。

関連論文リスト

• Untargeted Adversarial Attack on Knowledge Graph Embeddings [18.715565468700227]
  知識グラフ埋め込み(KGE)手法は、様々な知識グラフ(KG)下流タスクを扱うことに成功している。 近年の研究では、KGE手法の脆弱性を調査するための敵攻撃が提案されているが、攻撃者はKGE方式で標的指向である。 本研究では,KGE手法のグローバルな性能を,未知のテストトリプルの集合上で低減することを目的として,標的外攻撃を探索する。
  論文  参考訳（メタデータ） (2024-05-08T18:08:11Z)
• Negative Sampling with Adaptive Denoising Mixup for Knowledge Graph Embedding [36.24764655034505]
  知識グラフ埋め込み(KGE)は、知識グラフ(KG)の実体と関係を、正と負の三重項を対比することで、低次元で密度のベクトル空間にマッピングすることを目的としている。 負のサンプリングは、KGsが正の三重項のみを含むため、高品質な負の三重項を見つけるために不可欠である。 既存の負サンプリング法の多くは、高いスコアを持つ存在しない三重項が高品質な負三重項であると仮定する。
  論文  参考訳（メタデータ） (2023-10-15T09:01:24Z)
• KGEx: Explaining Knowledge Graph Embeddings via Subgraph Sampling and Knowledge Distillation [6.332573781489264]
  我々は、代理モデル研究からインスピレーションを得て、個々のリンク予測を説明する新しい方法であるKGExを提案する。 予測対象の三重項が与えられた場合、KGExは重要な三重項を特定するために使用するKGEモデルをシュロゲートする。 我々は、KGExがブラックボックスモデルに忠実な説明を提供することができることを示すために、2つの公開データセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-10-02T10:20:24Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision [77.34726150561087]
  現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。 本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。 これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
  論文  参考訳（メタデータ） (2022-08-22T14:07:08Z)
• MixKG: Mixing for harder negative samples in knowledge graph [33.4379457065033]
  知識グラフ埋め込み(KGE)は、多くの実世界のアプリケーションのための低次元ベクトルへの実体と関係を表現することを目的としている。 そこで本研究では,知識グラフのより厳しい負のサンプルを生成するために,MixKGという安価で効果的な手法を提案する。 2つの公開データセットと4つの古典的KGE手法の実験は、MixKGが以前の負サンプリングアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-02-19T13:31:06Z)
• KGE-CL: Contrastive Learning of Knowledge Graph Embeddings [64.67579344758214]
  本稿では,知識グラフ埋め込みのための簡易かつ効率的な学習フレームワークを提案する。 これは、関連するエンティティと異なる三重項におけるエンティティ-リレーションのカップルのセマンティック距離を短縮することができる。 WN18RRデータセットで51.2% MRR、46.8% Hits@1、59.1% MRR、51.8% Hits@1、YAGO3-10データセットで達成できる。
  論文  参考訳（メタデータ） (2021-12-09T12:45:33Z)
• How Does Knowledge Graph Embedding Extrapolate to Unseen Data: a Semantic Evidence View [13.575052133743505]
  我々は,知識グラフ埋め込み(KGE)が未知のデータにどのように当てはまるかを研究する。 また,セマンティック・エビデンス・アウェアメント・グラフニューラルネット(SE-GNN)と呼ばれる新しいGNNベースのKGEモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T08:17:02Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。