論文の概要: ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification

• arxiv url: http://arxiv.org/abs/2205.11332v1
• Date: Mon, 23 May 2022 14:23:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 16:04:37.391545
• Title: ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification
• Title（参考訳）: ImGCL:不均衡ノード分類におけるグラフコントラスト学習の再検討
• Authors: Liang Zeng, Lanqing Li, Ziqi Gao, Peilin Zhao, Jian Li
• Abstract要約: グラフコントラスト学習(GCL)は,ラベルのないノード/グラフ表現の学習性能に優れていたため,注目を集めている。 実際には、与えられたグラフのラベルなしノードは通常、暗黙の不均衡なクラス分布に従う。 ラベルを知らずにGCLから学習した表現を自動的に適応的にバランスをとるImGCL(Im Balanced node classification)の原理的GCLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.0350727426613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning (GCL) has attracted a surge of attention due to its superior performance for learning node/graph representations without labels. However, in practice, unlabeled nodes for the given graph usually follow an implicit imbalanced class distribution, where the majority of nodes belong to a small fraction of classes (a.k.a., head class) and the rest classes occupy only a few samples (a.k.a., tail classes). This highly imbalanced class distribution inevitably deteriorates the quality of learned node representations in GCL. Indeed, we empirically find that most state-of-the-art GCL methods exhibit poor performance on imbalanced node classification. Motivated by this observation, we propose a principled GCL framework on Imbalanced node classification (ImGCL), which automatically and adaptively balances the representation learned from GCL without knowing the labels. Our main inspiration is drawn from the recent progressively balanced sampling (PBS) method in the computer vision domain. We first introduce online clustering based PBS, which balances the training sets based on pseudo-labels obtained from learned representations. We then develop the node centrality based PBS method to better preserve the intrinsic structure of graphs, which highlight the important nodes of the given graph. Besides, we theoretically consolidate our method by proving that the classifier learned by balanced sampling without labels on an imbalanced dataset can converge to the optimal balanced classifier with a linear rate. Extensive experiments on multiple imbalanced graph datasets and imbalance settings verify the effectiveness of our proposed framework, which significantly improves the performance of the recent state-of-the-art GCL methods. Further experimental ablations and analysis show that the ImGCL framework remarkably improves the representations of nodes in tail classes.
• Abstract（参考訳）: グラフコントラスト学習(gcl)はラベル無しでノード/グラフ表現を学習する優れた性能のために注目を集めている。 しかし、実際には、与えられたグラフのラベルなしノードは通常暗黙の不均衡なクラス分布に従い、ノードの大多数は少数のクラス(例えば、ヘッドクラス)に属し、残りのクラスは少数のサンプル(例えば、テールクラス)しか占有しない。 この高度に不均衡なクラス分布は、GCLにおける学習ノード表現の品質を必然的に劣化させる。 実際、現状のGCL手法のほとんどは、不均衡ノード分類において性能が劣っていることを実証的に見出した。 そこで本研究では,GCLから学習した表現をラベルを知らずに自動的かつ適応的にバランスをとる,Im Balanced node classification (ImGCL) の原理的GCLフレームワークを提案する。 私たちの主な着想は,コンピュータビジョン領域における近年のpbs(progressively balanced sampling)メソッドから得られたものです。 まず,学習表現から得られた擬似ラベルに基づくトレーニングセットのバランスをとる,オンラインクラスタリングベースのpbsを導入する。 次に,ノード中心性に基づくpbs法を開発し,グラフの固有構造をよりよく保存し,与えられたグラフの重要なノードを強調する。 また,不均衡データセット上のラベルのない平衡サンプリングにより学習した分類器を,線形率の最適平衡分類器に収束させることで,理論的に統合する。 複数の不均衡グラフデータセットと不均衡設定に関する大規模な実験により,提案手法の有効性が検証され,最新のGCL法の性能が大幅に向上した。 さらなる実験と分析により、ImGCLフレームワークはテールクラスのノードの表現を著しく改善することが示された。

関連論文リスト

• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• VIGraph: Generative Self-supervised Learning for Class-Imbalanced Node Classification [9.686218058331061]
  グラフデータのクラス不均衡は、ノード分類において重要な課題である。 SMOTEベースのアプローチのような既存の手法は、不均衡グラフを構築する際の限界を示す。 本稿では,変分GAEを基本モデルとする簡易かつ効果的な生成型SSL手法であるVIGraphを紹介する。
  論文  参考訳（メタデータ） (2023-11-02T12:36:19Z)
• Heterophily-Based Graph Neural Network for Imbalanced Classification [19.51668009720269]
  グラフの不均衡な分類をグラフヘテロフィリを考慮した一意なアプローチを導入する。 我々は,不均衡な分類戦略をヘテロフィリア認識GNNと統合したFast Im-GBKを提案する。 実世界のグラフに関する我々の実験は、ノード分類タスクの分類性能と効率において、我々のモデルが優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-12T21:19:47Z)
• Provable Training for Graph Contrastive Learning [58.8128675529977]
  Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 GCLのトレーニングは、実際にはすべてのノードで不均衡であることを示す。 ノードがGCLの原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。
  論文  参考訳（メタデータ） (2023-09-25T08:23:53Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Augmentation-Free Graph Contrastive Learning [16.471928573824854]
  グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
  論文  参考訳（メタデータ） (2022-04-11T05:37:03Z)
• GCN-Based Linkage Prediction for Face Clustering on Imbalanced Datasets: An Empirical Study [5.416933126354173]
  本稿では,不均衡ラベルを緩和する新しい手法と,逆不均衡重み付きサンプリング戦略を用いてグラフ表現を拡大する手法を提案する。 コードと一連の不均衡なベンチマークデータセットはhttps://github.com/espectre/GCNs_on_im Balanced_datasetsで公開されている。
  論文  参考訳（メタデータ） (2021-07-06T08:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。