論文の概要: Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2206.10140v1
• Date: Tue, 21 Jun 2022 06:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 13:07:34.080676
• Title: Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning
• Title（参考訳）: 知識グラフ表現学習における負サンプリングの包括的解析
• Authors: Hidetaka Kamigaito, Katsuhiko Hayashi
• Abstract要約: 負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
• 参考スコア（独自算出の注目度）: 25.664174172917345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Negative sampling (NS) loss plays an important role in learning knowledge graph embedding (KGE) to handle a huge number of entities. However, the performance of KGE degrades without hyperparameters such as the margin term and number of negative samples in NS loss being appropriately selected. Currently, empirical hyperparameter tuning addresses this problem at the cost of computational time. To solve this problem, we theoretically analyzed NS loss to assist hyperparameter tuning and understand the better use of the NS loss in KGE learning. Our theoretical analysis showed that scoring methods with restricted value ranges, such as TransE and RotatE, require appropriate adjustment of the margin term or the number of negative samples different from those without restricted value ranges, such as RESCAL, ComplEx, and DistMult. We also propose subsampling methods specialized for the NS loss in KGE studied from a theoretical aspect. Our empirical analysis on the FB15k-237, WN18RR, and YAGO3-10 datasets showed that the results of actually trained models agree with our theoretical findings.
• Abstract（参考訳）: 負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。 しかし,ns損失のマージン項や負のサンプル数などのハイパーパラメータを伴わないkge劣化の性能は適切に選択される。 現在、経験的ハイパーパラメータチューニングは計算時間を犠牲にしてこの問題に対処している。 この問題を解決するために、我々はNS損失を理論的に解析し、超パラメータチューニングを支援し、KGE学習におけるNS損失のより良い利用を理解する。 理論的解析により,RESCAL, ComplEx, DistMult などの制限値範囲を持たない値域と異なる値域の負のサンプル数に対して,TransE や RotatE のような制限値範囲のスコアリング法が適切な調整を必要とすることが示された。 また、理論的側面から研究したKGEにおけるNS損失に特化したサブサンプリング手法を提案する。 FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致した。

関連論文リスト

• A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling [13.180345241212423]
  本稿では,Recommender Systems(RS)における損失関数の比較分析を行う。 1つの負のサンプルを用いた場合、BCE(Binary Cross-Entropy)、CCE(Categorical Cross-Entropy)、BPR(Bayesian Personalized Ranking)が等価であることを示す。
  論文  参考訳（メタデータ） (2024-11-12T13:06:16Z)
• Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding [31.26112477399022]
  本稿では、知識グラフ(KG)における負サンプリング(NS)損失の平滑化に関する理論的解釈を提供する。 新しいNS損失であるトリプルト適応負サンプリング(Triplet Adaptive Negative Smpling, TANS)を誘導し、従来の平滑化法の特徴をカバーする。
  論文  参考訳（メタデータ） (2024-07-05T04:38:17Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Cram\'er-Rao bound-informed training of neural networks for quantitative MRI [11.964144201247198]
  ニューラルネットワークは、定量的MRI、特に磁気共鳴フィンガープリントでパラメーターを推定するためにますます使われている。 それらの利点は、より優れた速度と非効率な非バイアス推定器の優位性である。 しかし、不均一なパラメータを推定することは困難である。 CRBを用いて二乗誤差を正規化するClam'erRao損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-22T06:38:03Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• RelWalk A Latent Variable Model Approach to Knowledge Graph Embedding [50.010601631982425]
  本稿では,単語埋め込みのランダムウォークモデル(Arora et al., 2016a)を知識グラフ埋め込み(KGE)に拡張する。 二つの実体 h (head) と t (tail) の間の関係 R の強さを評価するスコア関数を導出する。 理論的解析によって動機付けられた学習目標を提案し,知識グラフからKGEを学習する。
  論文  参考訳（メタデータ） (2021-01-25T13:31:29Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。