Fugu-MT 論文翻訳(概要): Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning

論文の概要: Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning

arxiv url: http://arxiv.org/abs/2301.13340v2
Date: Sun, 7 Jan 2024 04:23:30 GMT
ステータス: 処理完了
システム内更新日: 2024-01-10 00:24:53.030640
Title: Affinity Uncertainty-based Hard Negative Mining in Graph Contrastive Learning
Title（参考訳）: グラフコントラスト学習における親和性不確実性に基づくハードネガティブマイニング
Authors: Chaoxi Niu, Guansong Pang, Ling Chen
Abstract要約: 強い負のマイニングは、多種多様なデータ型に対する自己教師付きコントラスト学習(CL)の強化に有効である。本稿では,集合親和性情報に基づく識別モデルを構築し,グラフデータ中の強負を抽出する手法を提案する。 10個のグラフデータセットに対する実験により、我々の手法はグラフとノードの分類タスクにおいて、異なる最先端(SOTA)のGCLメソッドを一貫して拡張することを示した。
参考スコア（独自算出の注目度）: 27.728860211993368
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Hard negative mining has shown effective in enhancing self-supervised contrastive learning (CL) on diverse data types, including graph CL (GCL). The existing hardness-aware CL methods typically treat negative instances that are most similar to the anchor instance as hard negatives, which helps improve the CL performance, especially on image data. However, this approach often fails to identify the hard negatives but leads to many false negatives on graph data. This is mainly due to that the learned graph representations are not sufficiently discriminative due to oversmooth representations and/or non-independent and identically distributed (non-i.i.d.) issues in graph data. To tackle this problem, this article proposes a novel approach that builds a discriminative model on collective affinity information (i.e., two sets of pairwise affinities between the negative instances and the anchor instance) to mine hard negatives in GCL. In particular, the proposed approach evaluates how confident/uncertain the discriminative model is about the affinity of each negative instance to an anchor instance to determine its hardness weight relative to the anchor instance. This uncertainty information is then incorporated into the existing GCL loss functions via a weighting term to enhance their performance. The enhanced GCL is theoretically grounded that the resulting GCL loss is equivalent to a triplet loss with an adaptive margin being exponentially proportional to the learned uncertainty of each negative instance. Extensive experiments on ten graph datasets show that our approach does the following: 1) consistently enhances different state-of-the-art (SOTA) GCL methods in both graph and node classification tasks and 2) significantly improves their robustness against adversarial attacks. Code is available at https://github.com/mala-lab/AUGCL.
Abstract（参考訳）: 強い負のマイニングは、グラフCL(GCL)を含む多様なデータ型に対する自己教師付きコントラスト学習(CL)の強化に有効である。既存のハードネスを意識したCLメソッドは、通常、アンカーインスタンスと最もよく似た負のインスタンスをハードネガティブとして扱い、特に画像データにおいてCLのパフォーマンスを改善するのに役立ちます。しかし、このアプローチはしばしばハードネガティブを特定することに失敗するが、グラフデータに多くの偽陰性をもたらす。これは主に、学習されたグラフ表現が、グラフデータの過度な表現や/または非独立で同一に分布する(非i.d.)問題のために十分に識別できないためである。本稿では,集合的親和性情報(すなわち,負のインスタンスとアンカーのインスタンスの間の2組のペアワイズ親和性)に基づく識別モデルを構築し,gclの強負をマイニングする新しいアプローチを提案する。特に,本提案手法は,各負のインスタンスとアンカーインスタンスとの親和性について,識別モデルの信頼性/不確かさを評価し,アンカーインスタンスに対してその硬度重みを決定する。この不確実性情報は、重み付け項を介して既存のGCL損失関数に組み込まれ、性能が向上する。拡張gclは理論的に、得られたgcl損失は三重項損失と同値であり、適応マージンは各負のインスタンスの学習された不確かさに指数関数的に比例する。 10のグラフデータセットに関する大規模な実験は、我々のアプローチが下記のとおりであることを示している。 1) グラフ分類タスクとノード分類タスクの両方において,SOTA(State-of-the-art)GCLメソッドを一貫して拡張する。 2) 敵攻撃に対する堅牢性は著しく向上した。コードはhttps://github.com/mala-lab/AUGCLで入手できる。

関連論文リスト

Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
論文参考訳（メタデータ） (2024-07-23T13:55:33Z)
Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文参考訳（メタデータ） (2024-03-10T09:46:28Z)
Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
論文参考訳（メタデータ） (2024-02-23T11:32:46Z)
Similarity Preserving Adversarial Graph Contrastive Learning [5.671825576834061]
類似性を保存する逆数グラフの対比学習フレームワークを提案する。本稿では,複数の下流タスクにおいてSP-AGCLが競合性能を発揮することを示す。
論文参考訳（メタデータ） (2023-06-24T04:02:50Z)
HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文参考訳（メタデータ） (2023-06-16T04:06:52Z)
Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文参考訳（メタデータ） (2022-11-20T07:18:56Z)
Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
論文参考訳（メタデータ） (2022-10-17T07:16:17Z)
Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
論文参考訳（メタデータ） (2022-09-28T09:52:15Z)
Debiased Graph Contrastive Learning [27.560217866753938]
本稿では,各負のサンプルが真かどうかの確率を推定する,新規で効果的な手法を提案する。 Debiased Graph Contrastive Learning (DGCL)は、いくつかのベンチマークにおいて、教師なしの最先端結果よりも優れているか、あるいは一致している。
論文参考訳（メタデータ） (2021-10-05T13:15:59Z)
Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文参考訳（メタデータ） (2021-06-17T16:45:31Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。