論文の概要: From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2406.15044v1
• Date: Fri, 21 Jun 2024 10:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 13:53:51.432956
• Title: From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning
• Title（参考訳）: 過剰適合からロバストネス:グラフコントラスト学習における量,品質,多様性指向の負のサンプル選択
• Authors: Adnan Ali, Jinlong Li, Huanhuan Chen, Ali Kashif Bashir,
• Abstract要約: グラフコントラスト学習(GCL)は、ノードの埋め込みを学習する正負の学習と対比することを目的としている。 ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。 本研究では, 負のサンプルの品質, バリエーション, 量について包括的に検討し, 新たな累積サンプル選択法を提案する。
• 参考スコア（独自算出の注目度）: 38.87932592059369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph contrastive learning (GCL) aims to contrast positive-negative counterparts to learn the node embeddings, whereas graph data augmentation methods are employed to generate these positive-negative samples. The variation, quantity, and quality of negative samples compared to positive samples play crucial roles in learning meaningful embeddings for node classification downstream tasks. Less variation, excessive quantity, and low-quality negative samples cause the model to be overfitted for particular nodes, resulting in less robust models. To solve the overfitting problem in the GCL paradigm, this study proposes a novel Cumulative Sample Selection (CSS) algorithm by comprehensively considering negative samples' quality, variations, and quantity. Initially, three negative sample pools are constructed: easy, medium, and hard negative samples, which contain 25%, 50%, and 25% of the total available negative samples, respectively. Then, 10% negative samples are selected from each of these three negative sample pools for training the model. After that, a decision agent module evaluates model training results and decides whether to explore more negative samples from three negative sample pools by increasing the ratio or keep exploiting the current sampling ratio. The proposed algorithm is integrated into a proposed graph contrastive learning framework named NegAmplify. NegAmplify is compared with the SOTA methods on nine graph node classification datasets, with seven achieving better node classification accuracy with up to 2.86% improvement.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は,ノード埋め込みを学習するために正の負の負の負の負の値と対比することを目的としており,グラフデータ拡張法はこれらの正の負のサンプルを生成するために用いられる。 ノード分類下流タスクにおける有意義な埋め込み学習において, 正のサンプルと比較して, 負のサンプルの変化, 量, 品質が重要な役割を担っている。 変化の少ない、過剰な量、低品質な負のサンプルは、モデルを特定のノードに過度に適合させ、ロバストなモデルを減らす。 本研究は,GCLパラダイムのオーバーフィッティング問題を解決するために,負のサンプルの品質,バリエーション,量を包括的に考慮し,新しい累積サンプル選択(CSS)アルゴリズムを提案する。 当初は3つの負のサンプルプールが構築されており、それぞれ25%、50%、25%の正のサンプルを含む、簡単、中、硬い負のサンプルである。 そして、これらの3つの負のサンプルプールから10%の負のサンプルを選択してモデルを訓練する。 その後、判定エージェントモジュールはモデルトレーニング結果を評価し、3つの負のサンプルプールからより多くの負のサンプルを探索するか、または現在のサンプリング比を利用し続けるかを決定する。 提案アルゴリズムはNegAmplifyというグラフコントラスト学習フレームワークに統合される。 NegAmplifyは9つのグラフノード分類データセットのSOTA法と比較され、7つのノード分類精度が最大2.86%向上した。

関連論文リスト

• Rethinking Samples Selection for Contrastive Learning: Mining of Potential Samples [5.586563813796839]
  対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。 正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。 CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
  論文  参考訳（メタデータ） (2023-11-01T08:08:06Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding [0.0]
  我々はEANS(Entity Aware Negative Smpling)と呼ばれる新しい手法を提案する。 EANSは、整列した実体指数空間にガウス分布を採用することにより、正に類似した負の実体をサンプリングすることができる。 提案手法は, 正のサンプルサイズによらず高品質な負のサンプルを生成し, 偽の負のサンプルの影響を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:27:51Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。