論文の概要: Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2004.05553v1
• Date: Sun, 12 Apr 2020 06:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 05:13:33.766143
• Title: Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion
• Title（参考訳）: ランダムウォークに基づくミニバッチ選択ポリシーが知識グラフ補完に及ぼす影響の探索
• Authors: Bishal Santra, Prakhar Sharma, Sumegh Roychowdhury, Pawan Goyal
• Abstract要約: KGCモデルのトレーニングのためのランダムウォークに基づく新しいミニバッチサンプリング手法を提案する。 提案手法はDB100Kデータセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 11.484811954887432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we have explored the effects of different minibatch sampling techniques in Knowledge Graph Completion. Knowledge Graph Completion (KGC) or Link Prediction is the task of predicting missing facts in a knowledge graph. KGC models are usually trained using margin, soft-margin or cross-entropy loss function that promotes assigning a higher score or probability for true fact triplets. Minibatch gradient descent is used to optimize these loss functions for training the KGC models. But, as each minibatch consists of only a few randomly sampled triplets from a large knowledge graph, any entity that occurs in a minibatch, occurs only once in most cases. Because of this, these loss functions ignore all other neighbors of any entity, whose embedding is being updated at some minibatch step. In this paper, we propose a new random-walk based minibatch sampling technique for training KGC models that optimizes the loss incurred by a minibatch of closely connected subgraph of triplets instead of randomly selected ones. We have shown results of experiments for different models and datasets with our sampling technique and found that the proposed sampling algorithm has varying effects on these datasets/models. Specifically, we find that our proposed method achieves state-of-the-art performance on the DB100K dataset.
• Abstract（参考訳）: 本稿では,様々なミニバッチサンプリング手法が知識グラフ補完に与える影響について検討した。 知識グラフ補完(英: Knowledge Graph Completion, KGC)またはリンク予測(リンク予測)は、知識グラフにおける行方不明な事実を予測するタスクである。 kgcモデルは、通常、マージン、ソフトマージンまたはクロスエントロピー損失関数を用いて訓練され、より高いスコアまたは真の事実三重項の確率を割り当てることを促進する。 ミニバッチ勾配降下は、これらの損失関数を最適化してkgcモデルのトレーニングに使用される。 しかし、各ミニバッチは、大きな知識グラフからランダムにサンプリングされたトリプレットのみで構成されているため、ミニバッチで発生するエンティティは、ほとんどの場合、一度だけ発生する。 このため、これらの損失関数は任意のエンティティの他のすべての隣人を無視し、埋め込みはミニバッチのステップで更新される。 本稿では,ランダムに選択された三重項の近縁部分グラフのミニバッチによって生じる損失を最適化するKGCモデルをトレーニングするための,ランダムウォークに基づく新しいミニバッチサンプリング手法を提案する。 サンプリング手法を用いて異なるモデルおよびデータセットに対する実験結果を示し,提案手法がこれらのデータセット/モデルに与える影響について検討した。 具体的には,DB100Kデータセット上での最先端性能を実現する手法を提案する。

関連論文リスト

• Transductive Zero-Shot and Few-Shot CLIP [24.592841797020203]
  本稿では,トランスダクティブなゼロショットと少数ショットのCLIP分類問題に対処する。 推論は、各インスタンスを独立して扱うのではなく、ラベルのないクエリサンプルのミニバッチで共同で実行される。 提案手法は,CLIPのゼロショット性能に対して,画像ネットの精度を約20%向上させる。
  論文  参考訳（メタデータ） (2024-04-08T12:44:31Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs [37.378865860897285]
  In-Batchコントラスト学習(In-Batch contrastive learning)は、意味的に類似したインスタンスを近接させる最先端の自己教師方式である。 最近の研究は、現在のミニバッチにおいて、硬い負のテキストをサンプリングすることで、性能を向上させることを目的としている。 我々は、BatchSamplerを、識別し難いインスタンス(すなわち、互いに強陰性および真陰性)のミニバッチのサンプルとして提示する。
  論文  参考訳（メタデータ） (2023-06-06T02:13:27Z)
• Training trajectories, mini-batch losses and the curious role of the learning rate [13.848916053916618]
  検証された勾配勾配勾配は、ディープラーニングのほぼすべての応用において、基本的な役割を担っていることを示す。 本稿では,ミニバッチの勾配と全バッチの関係を解析する簡単なモデルと幾何学的解釈を提案する。 特に、非常に低い損失値は、十分な学習率で1段階の降下に到達することができる。
  論文  参考訳（メタデータ） (2023-01-05T21:58:46Z)
• Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
  各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。 In-Training Representation Alignment (ITRA) を提案する。 また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
  論文  参考訳（メタデータ） (2022-11-23T22:23:22Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。