論文の概要: Curriculum Negative Mining For Temporal Networks

• arxiv url: http://arxiv.org/abs/2407.17070v1
• Date: Wed, 24 Jul 2024 07:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:33:39.200195
• Title: Curriculum Negative Mining For Temporal Networks
• Title（参考訳）: 時間ネットワークのためのカリキュラム負マイニング
• Authors: Ziyue Chen, Tongya Zheng, Mingli Song,
• Abstract要約: 時間的ネットワークは、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 CurNMは、ネガティブサンプルの難易度を適応的に調整する、モデル対応のカリキュラム学習フレームワークである。 提案手法は, ベースライン法よりも格段に優れる。
• 参考スコア（独自算出の注目度）: 33.70909189731187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal networks are effective in capturing the evolving interactions of networks over time, such as social networks and e-commerce networks. In recent years, researchers have primarily concentrated on developing specific model architectures for Temporal Graph Neural Networks (TGNNs) in order to improve the representation quality of temporal nodes and edges. However, limited attention has been given to the quality of negative samples during the training of TGNNs. When compared with static networks, temporal networks present two specific challenges for negative sampling: positive sparsity and positive shift. Positive sparsity refers to the presence of a single positive sample amidst numerous negative samples at each timestamp, while positive shift relates to the variations in positive samples across different timestamps. To robustly address these challenges in training TGNNs, we introduce Curriculum Negative Mining (CurNM), a model-aware curriculum learning framework that adaptively adjusts the difficulty of negative samples. Within this framework, we first establish a dynamically updated negative pool that balances random, historical, and hard negatives to address the challenges posed by positive sparsity. Secondly, we implement a temporal-aware negative selection module that focuses on learning from the disentangled factors of recently active edges, thus accurately capturing shifting preferences. Extensive experiments on 12 datasets and 3 TGNNs demonstrate that our method outperforms baseline methods by a significant margin. Additionally, thorough ablation studies and parameter sensitivity experiments verify the usefulness and robustness of our approach. Our code is available at https://github.com/zziyue83/CurNM.
• Abstract（参考訳）: テンポラルネットワークは、ソーシャルネットワークやeコマースネットワークなど、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 近年、研究者は、時間ノードとエッジの表現品質を改善するために、時間グラフニューラルネットワーク(TGNN)の特定のモデルアーキテクチャの開発に集中している。 しかし,TGNNのトレーニングにおいて,陰性サンプルの品質に限定的な注意が払われている。 静的ネットワークと比較すると、時間的ネットワークは、正のスパシティと正のシフトという、負のサンプリングのための2つの特定の課題を提示する。 正のスパーシリティは、各タイムスタンプにおける多くの負のサンプルの中で1つの正のサンプルが存在することを指すが、正のシフトは異なるタイムスタンプにおける正のサンプルの変動に関係している。 TGNNのトレーニングにおけるこれらの課題に頑健に対処するために、負サンプルの難易度を適応的に調整するモデル対応カリキュラム学習フレームワークCurNM(Curculum Negative Mining)を紹介した。 この枠組みの中で、我々はまず、ランダム、歴史的、ハードな負のバランスをとる動的に更新された負のプールを確立し、正の間隔によって生じる課題に対処する。 第2に,最近活動しているエッジの絡み合った要因から学ぶことに焦点を当てた時間認識型ネガティブ選択モジュールを実装し,切り替えの好みを正確に把握する。 12のデータセットと3のTGNNの大規模な実験により、本手法がベースライン法よりも有意なマージンで優れていることが示された。 さらに、徹底的なアブレーション研究とパラメータ感度実験により、我々のアプローチの有用性と堅牢性を検証する。 私たちのコードはhttps://github.com/zziyue83/CurNM.comで利用可能です。

関連論文リスト

• Robust Training of Temporal GNNs using Nearest Neighbours based Hard Negatives [44.49975766084011]
  時間グラフニューラルネットワークTgnnのトレーニングは、ランダムサンプリングに基づく教師なし損失によって列挙される。 そこで我々はTgnnの教師なし学習を改良し,一様負サンプリングを重要ベース負サンプリングに置き換える手法を提案する。 提案した負のサンプリングに基づいて損失をトレーニングしたTgnnは、一貫した優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:27:53Z)
• Temporal graph models fail to capture global temporal dynamics [0.43512163406552007]
  我々は「最近普及しているノード」の自明な最適化のないベースラインを提案する。 本研究では, 時間変動が強いデータセットに対して, 標準負サンプリング評価が不適当であることを示す。 この結果から,時間グラフネットワークアーキテクチャは,重要なグローバルダイナミクスを持つ問題における使用法を深く再考する必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-09-27T15:36:45Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Link Prediction with Non-Contrastive Learning [19.340519670329382]
  グラフ自己教師型学習(SSL)は、ラベル付きデータなしで有用なノード表現を導出することを目的としている。 多くの最先端グラフSSL法は、正と負のサンプルの組み合わせを用いた対照的な手法である。 近年の文献では非コントラスト法が導入されており、正のサンプルのみを用いている。
  論文  参考訳（メタデータ） (2022-11-25T22:30:15Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
  本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
  論文  参考訳（メタデータ） (2021-02-14T16:11:56Z)
• NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition [78.21084529159577]
  我々は、トレーニングを改善するために、ハードサンプルのより良い利用方法を研究する。 強正と強負の相関は見過ごされ、正と負のロジットのマージンの関係も見過ごされる。 我々はNPCFaceと呼ばれる新規な負の正の協調的損失を提案し、これは負のハードケースと正のハードケースの両方のトレーニングを強調している。
  論文  参考訳（メタデータ） (2020-07-20T14:52:29Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。