論文の概要: Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2206.10140v1
• Date: Tue, 21 Jun 2022 06:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 13:07:34.080676
• Title: Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning
• Title（参考訳）: 知識グラフ表現学習における負サンプリングの包括的解析
• Authors: Hidetaka Kamigaito, Katsuhiko Hayashi
• Abstract要約: 負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
• 参考スコア（独自算出の注目度）: 25.664174172917345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Negative sampling (NS) loss plays an important role in learning knowledge graph embedding (KGE) to handle a huge number of entities. However, the performance of KGE degrades without hyperparameters such as the margin term and number of negative samples in NS loss being appropriately selected. Currently, empirical hyperparameter tuning addresses this problem at the cost of computational time. To solve this problem, we theoretically analyzed NS loss to assist hyperparameter tuning and understand the better use of the NS loss in KGE learning. Our theoretical analysis showed that scoring methods with restricted value ranges, such as TransE and RotatE, require appropriate adjustment of the margin term or the number of negative samples different from those without restricted value ranges, such as RESCAL, ComplEx, and DistMult. We also propose subsampling methods specialized for the NS loss in KGE studied from a theoretical aspect. Our empirical analysis on the FB15k-237, WN18RR, and YAGO3-10 datasets showed that the results of actually trained models agree with our theoretical findings.
• Abstract（参考訳）: 負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 しかし,ns損失のマージン項や負のサンプル数などのハイパーパラメータを伴わないkge劣化の性能は適切に選択される。 現在、経験的ハイパーパラメータチューニングは計算時間を犠牲にしてこの問題に対処している。 この問題を解決するために、我々はNS損失を理論的に解析し、超パラメータチューニングを支援し、KGE学習におけるNS損失のより良い利用を理解する。 理論的解析により,RESCAL, ComplEx, DistMult などの制限値範囲を持たない値域と異なる値域の負のサンプル数に対して,TransE や RotatE のような制限値範囲のスコアリング法が適切な調整を必要とすることが示された。 また、理論的側面から研究したKGEにおけるNS損失に特化したサブサンプリング手法を提案する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致した。

関連論文リスト

• A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling [13.180345241212423]
  CCE(Categorical Cross Entropy)、BCE(Binary Cross Entropy)、BPR(Bayesian Personalized Ranking)といった損失関数は、レコメンダシステム(Recommender Systems、RS)において、ユーザによって対話されるポジティブな項目とネガティブな項目を区別するために一般的に使用されている。 我々は、CCEが正規化カウント累積ゲイン(NDCG)や平均相反ランク(MRR)のようなランキングの指標に最も厳しい下限を提供することを示す。 負のサンプリングでは、BPRとCCEは1つの負のサンプルが引かれるときに等価であり、3つの損失はすべて同じ大域最小値に収束する。
  論文  参考訳（メタデータ） (2024-11-12T13:06:16Z)
• Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding [31.26112477399022]
  本稿では、知識グラフ(KG)における負サンプリング(NS)損失の平滑化に関する理論的解釈を提供する。 新しいNS損失であるトリプルト適応負サンプリング(Triplet Adaptive Negative Smpling, TANS)を誘導し、従来の平滑化法の特徴をカバーする。
  論文  参考訳（メタデータ） (2024-07-05T04:38:17Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
  我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。 JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。 複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T01:47:09Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Cram\'er-Rao bound-informed training of neural networks for quantitative MRI [11.964144201247198]
  ニューラルネットワークは、定量的MRI、特に磁気共鳴フィンガープリントでパラメーターを推定するためにますます使われている。 それらの利点は、より優れた速度と非効率な非バイアス推定器の優位性である。 しかし、不均一なパラメータを推定することは困難である。 CRBを用いて二乗誤差を正規化するClam'erRao損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-22T06:38:03Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。