論文の概要: Robust Training of Temporal GNNs using Nearest Neighbours based Hard Negatives

• arxiv url: http://arxiv.org/abs/2402.09239v1
• Date: Wed, 14 Feb 2024 15:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 14:54:58.855535
• Title: Robust Training of Temporal GNNs using Nearest Neighbours based Hard Negatives
• Title（参考訳）: 近近近近波を用いた時間的GNNのロバストトレーニング
• Authors: Shubham Gupta, Srikanta Bedathur
• Abstract要約: 時間グラフニューラルネットワークTgnnのトレーニングは、ランダムサンプリングに基づく教師なし損失によって列挙される。 そこで我々はTgnnの教師なし学習を改良し,一様負サンプリングを重要ベース負サンプリングに置き換える手法を提案する。 提案した負のサンプリングに基づいて損失をトレーニングしたTgnnは、一貫した優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 44.49975766084011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal graph neural networks Tgnn have exhibited state-of-art performance in future-link prediction tasks. Training of these TGNNs is enumerated by uniform random sampling based unsupervised loss. During training, in the context of a positive example, the loss is computed over uninformative negatives, which introduces redundancy and sub-optimal performance. In this paper, we propose modified unsupervised learning of Tgnn, by replacing the uniform negative sampling with importance-based negative sampling. We theoretically motivate and define the dynamically computed distribution for a sampling of negative examples. Finally, using empirical evaluations over three real-world datasets, we show that Tgnn trained using loss based on proposed negative sampling provides consistent superior performance.
• Abstract（参考訳）: 時間グラフニューラルネットワークTgnnは、将来のリンク予測タスクで最先端のパフォーマンスを示した。 これらのTGNNのトレーニングは、一様ランダムサンプリングに基づく教師なし損失によって列挙される。 トレーニング中、ポジティブな例の文脈では、損失は非形式的な負よりも計算され、冗長性と準最適性能をもたらす。 本稿では,一様負サンプリングを重要度に基づく負サンプリングに置き換え,tgnnの教師なし学習の改良を提案する。 負の例をサンプリングするための動的計算分布を理論的に動機付け,定義する。 最後に、3つの実世界のデータセットに対する経験的評価を用いて,提案する負のサンプリングに基づく損失を用いて訓練したtgnnが,一貫した優れた性能をもたらすことを示す。

関連論文リスト

• Curriculum Negative Mining For Temporal Networks [33.70909189731187]
  時間的ネットワークは、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 CurNMは、ネガティブサンプルの難易度を適応的に調整する、モデル対応のカリキュラム学習フレームワークである。 提案手法は, ベースライン法よりも格段に優れる。
  論文  参考訳（メタデータ） (2024-07-24T07:55:49Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Neighborhood-based Hard Negative Mining for Sequential Recommendation [14.66576013324401]
  ネガティブサンプリングは、シーケンシャルレコメンデーションモデルのトレーニングにおいて重要な役割を果たす。 本稿では, ユーザ行動に隠された構造情報を負のマイニングに活用するために, 近傍オーバーラップ(GNNO)に基づくグラフベースの負のサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T12:28:54Z)
• Better Sampling of Negatives for Distantly Supervised Named Entity Recognition [39.264878763160766]
  本稿では, 正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正 提案手法は,4つの遠隔教師付きNERデータセットに対して一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2023-05-22T15:35:39Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
  本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
  論文  参考訳（メタデータ） (2021-02-14T16:11:56Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。