Fugu-MT 論文翻訳(概要): Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding

論文の概要: Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding

arxiv url: http://arxiv.org/abs/2010.14227v2
Date: Wed, 14 Jul 2021 01:52:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 12:25:15.146861
Title: Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding
Title（参考訳）: 知識グラフ埋め込みのための効率的でシンプルで自動化されたネガティブサンプリング
Authors: Yongqi Zhang and Quanming Yao and Lei Chen
Abstract要約: 負のサンプリングは、知識グラフ(KG)において観測されていないものから負の三重項をサンプリングするものであり、KGの埋め込みにおいて重要なステップである。本稿では,大きな勾配を持つ負三重項が重要ではあるが稀であることを示す観測に動機付けられ,キャッシュで直接追跡することを提案する。提案手法は従来のGAN方式の「蒸留」バージョンとして機能し, 負三重項の完全な分布に適合する追加パラメータの学習時間を無駄にしない。
参考スコア（独自算出の注目度）: 40.97648142355799
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Negative sampling, which samples negative triplets from non-observed ones in knowledge graph (KG), is an essential step in KG embedding. Recently, generative adversarial network (GAN), has been introduced in negative sampling. By sampling negative triplets with large gradients, these methods avoid the problem of vanishing gradient and thus obtain better performance. However, they make the original model more complex and harder to train. In this paper, motivated by the observation that negative triplets with large gradients are important but rare, we propose to directly keep track of them with the cache. In this way, our method acts as a "distilled" version of previous GAN-based methods, which does not waste training time on additional parameters to fit the full distribution of negative triplets. However, how to sample from and update the cache are two critical questions. We propose to solve these issues by automated machine learning techniques. The automated version also covers GAN-based methods as special cases. Theoretical explanation of NSCaching is also provided, justifying the superior over fixed sampling scheme. Besides, we further extend NSCaching with skip-gram model for graph embedding. Finally, extensive experiments show that our method can gain significant improvements on various KG embedding models and the skip-gram model, and outperforms the state-of-the-art negative sampling methods.
Abstract（参考訳）: 負のサンプリングは、知識グラフ(KG)において観測されていないものから負の三重項をサンプリングするものであり、KGの埋め込みにおいて重要なステップである。近年,gan(generative adversarial network)が負のサンプリングに導入されている。負の三重項を大きな勾配でサンプリングすることにより、勾配の消失を回避し、より良い性能が得られる。しかし、オリジナルのモデルはより複雑で訓練が難しくなった。本稿では,大きな勾配を持つ負の三重項が重要ではあるが稀であるという観測に動機づけられ,キャッシュで直接追跡することを提案する。このようにして,本手法は従来のGAN手法の「蒸留版」として機能し,負三重項の完全な分布に適合する追加パラメータの学習時間を無駄にしない。しかし、キャッシュのサンプルと更新方法には2つの重要な疑問がある。自動機械学習技術を用いてこれらの問題を解決することを提案する。自動バージョンでは、特別なケースとしてGANベースのメソッドもカバーされている。 NSCachingの理論的な説明も提供され、固定サンプリング方式よりも優れている。さらにグラフ埋め込みのためのスキップグラムモデルにより NSCaching をさらに拡張する。最後に,本手法は種々のKG埋め込みモデルとスキップグラムモデルにおいて顕著な改善が得られ,最先端の負サンプリング法よりも優れていることを示す。

関連論文リスト

Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文参考訳（メタデータ） (2023-11-02T02:03:12Z)
Gradient Surgery for One-shot Unlearning on Generative Model [0.989293617504294]
我々は、深層生成モデルに影響を及ぼすデータを取り除くための、単純で効果的なアプローチを導入する。マルチタスク学習における作業に触発されて,サンプル間の影響の相互作用を規則化する勾配の操作を提案する。
論文参考訳（メタデータ） (2023-07-10T13:29:23Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文参考訳（メタデータ） (2022-11-27T19:50:37Z)
MixKG: Mixing for harder negative samples in knowledge graph [33.4379457065033]
知識グラフ埋め込み(KGE)は、多くの実世界のアプリケーションのための低次元ベクトルへの実体と関係を表現することを目的としている。そこで本研究では,知識グラフのより厳しい負のサンプルを生成するために,MixKGという安価で効果的な手法を提案する。 2つの公開データセットと4つの古典的KGE手法の実験は、MixKGが以前の負サンプリングアルゴリズムよりも優れていることを示している。
論文参考訳（メタデータ） (2022-02-19T13:31:06Z)
SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文参考訳（メタデータ） (2020-06-30T03:18:15Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion [11.484811954887432]
KGCモデルのトレーニングのためのランダムウォークに基づく新しいミニバッチサンプリング手法を提案する。提案手法はDB100Kデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2020-04-12T06:16:57Z)
Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
論文参考訳（メタデータ） (2020-03-12T12:44:30Z)
Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples [67.11669996924671]
GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。このトップk更新の手順が一般的に適用可能な改善であることを示す。
論文参考訳（メタデータ） (2020-02-14T19:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。