論文の概要: Debiased Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2110.02027v1
• Date: Tue, 5 Oct 2021 13:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:13:11.670216
• Title: Debiased Graph Contrastive Learning
• Title（参考訳）: Debiased Graph Contrastive Learning
• Authors: Jun Xia, Lirong Wu, Jintao Chen, Ge Wang, Stan Z.Li
• Abstract要約: 本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
• 参考スコア（独自算出の注目度）: 27.560217866753938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negative samples) apart. As revealed in recent works, CL can benefit from hard negative samples (negative samples that are difficult to distinguish from the anchor). However, we observe minor improvement or even performance drop when we adopt existing hard negative mining techniques in Graph Contrastive Learning (GCL). We find that many hard negative samples similar to anchor point are false negative ones (samples from the same class as anchor point) in GCL, which is different from CL in computer vision and will lead to unsatisfactory performance of existing hard negative mining techniques in GCL. To eliminate this bias, we propose Debiased Graph Contrastive Learning (DGCL), a novel and effective method to estimate the probability whether each negative sample is true or not. With this probability, we devise two schemes (i.e., DGCL-weight and DGCL-mix) to boost the performance of GCL. Empirically, DGCL outperforms or matches previous unsupervised state-of-the-art results on several benchmarks and even exceeds the performance of supervised ones.
• Abstract（参考訳）: コントラスト学習(CL)は、アンカーの強化版を互いに近く(正のサンプル)に埋め込み、他のサンプル(負のサンプル)の埋め込みを分離する教師なし表現学習の主流の手法として登場した。 最近の研究で明らかになったように、CLは強い負のサンプル(アンカーと区別が難しい負のサンプル)の恩恵を受けることができる。 しかし、グラフコントラスト学習(gcl)において、既存のハードネガティブマイニング手法を採用する場合、小さな改善やパフォーマンス低下も観察する。 アンカー点に類似した多くの強陰性試料は,コンピュータビジョンではCLと異なり,GCLでは既存の強陰性鉱業技術が不満足な性能を期待できる,偽陰性試料(アンカー点と同じクラスからのサンプル)であることがわかった。 このバイアスをなくすために、各負のサンプルが真かどうかを推定する新しい効果的な手法であるDebiased Graph Contrastive Learning (DGCL)を提案する。 この確率で、GCLの性能を高めるために、2つのスキーム(DGCL-weightとDGCL-mix)を考案する。 実証的には、DGCLはいくつかのベンチマークで以前の教師なしの最先端結果よりも優れており、教師なしの結果よりも優れている。

関連論文リスト

• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning [27.728860211993368]
  強い負のマイニングは、多種多様なデータ型に対する自己教師付きコントラスト学習(CL)の強化に有効である。 本稿では,集合親和性情報に基づく識別モデルを構築し,グラフデータ中の強負を抽出する手法を提案する。 10個のグラフデータセットに対する実験により、我々の手法はグラフとノードの分類タスクにおいて、異なる最先端(SOTA)のGCLメソッドを一貫して拡張することを示した。
  論文  参考訳（メタデータ） (2023-01-31T00:18:03Z)
• Supervised Contrastive Learning with Hard Negative Samples [16.42457033976047]
  対照的学習(CL)では、正のサンプルを互いに近づき、有用な表現関数を学習する。 クラス情報がない場合、負のサンプルはアンカーとは無関係にランダムに選択される。 Supervised CL (SCL) は、アンカーとラベルが異なるサンプルに対して負のサンプリング分布を条件にすることで、このクラス衝突を避ける。
  論文  参考訳（メタデータ） (2022-08-31T19:20:04Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。