論文の概要: Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination

• arxiv url: http://arxiv.org/abs/2206.01535v1
• Date: Fri, 3 Jun 2022 12:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 20:01:12.516039
• Title: Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination
• Title（参考訳）: グラフコントラスト学習の再考とスケールアップ:グループ識別による極めて効率的なアプローチ
• Authors: Yizhen Zheng, Shirui Pan, Vincent Cs Lee, Yu Zheng, Philip S. Yu
• Abstract要約: グラフコントラスト学習(GCL)は、グラフ表現学習(GRL)におけるラベル情報への依存度を緩和する 自己教師型GRLのための新しい学習パラダイム、すなわちグループ識別(GD)を導入する。 類似性計算の代わりに、GGDは単純なバイナリクロスエントロピー損失を持つ要約ノードインスタンスの2つのグループを直接識別する。 加えて、GGDは大規模データセット上でのGCL法と比較して、競争性能を得るために、はるかに少ないトレーニングエポックを必要とする。
• 参考スコア（独自算出の注目度）: 87.07410882094966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph contrastive learning (GCL) alleviates the heavy reliance on label information for graph representation learning (GRL) via self-supervised learning schemes. The core idea is to learn by maximising mutual information for similar instances, which requires similarity computation between two node instances. However, this operation can be computationally expensive. For example, the time complexity of two commonly adopted contrastive loss functions (i.e., InfoNCE and JSD estimator) for a node is $O(ND)$ and $O(D)$, respectively, where $N$ is the number of nodes, and $D$ is the embedding dimension. Additionally, GCL normally requires a large number of training epochs to be well-trained on large-scale datasets. Inspired by an observation of a technical defect (i.e., inappropriate usage of Sigmoid function) commonly used in two representative GCL works, DGI and MVGRL, we revisit GCL and introduce a new learning paradigm for self-supervised GRL, namely, Group Discrimination (GD), and propose a novel GD-based method called Graph Group Discrimination (GGD). Instead of similarity computation, GGD directly discriminates two groups of summarised node instances with a simple binary cross-entropy loss. As such, GGD only requires $O(1)$ for loss computation of a node. In addition, GGD requires much fewer training epochs to obtain competitive performance compared with GCL methods on large-scale datasets. These two advantages endow GGD with the very efficient property. Extensive experiments show that GGD outperforms state-of-the-art self-supervised methods on 8 datasets. In particular, GGD can be trained in 0.18 seconds (6.44 seconds including data preprocessing) on ogbn-arxiv, which is orders of magnitude (10,000+ faster than GCL baselines} while consuming much less memory. Trained with 9 hours on ogbn-papers100M with billion edges, GGD outperforms its GCL counterparts in both accuracy and efficiency.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は、グラフ表現学習(GRL)のラベル情報への依存度を、自己教師付き学習方式により緩和する。 コアとなるアイデアは、2つのノードインスタンス間の類似性計算を必要とする類似インスタンスの相互情報を最大化することで学習することだ。 しかし、この操作は計算量的に高価である。 例えば、ノードに対して一般的に採用されている2つの対照的な損失関数(例えばInfoNCEとJSD推定器)の時間複雑性は、それぞれ$O(ND)$と$O(D)$であり、$N$はノードの数、$D$は埋め込み次元である。 加えて、GCLは通常、大規模なデータセットで十分にトレーニングするために、多数のトレーニングエポックを必要とする。 DGIとMVGRLの2つの代表的GCL作品で一般的に使われている技術的欠陥(すなわち、シグモイド関数の不適切な使用)に着想を得て、GCLを再検討し、グループ識別(GD)と呼ばれる自己教師型GRLのための新しい学習パラダイムを導入し、グラフグループ識別(GGD)と呼ばれる新しいGDベースの手法を提案する。 類似性計算の代わりに、ggdは単純なバイナリクロスエントロピー損失を持つ2つの要約ノードインスタンス群を直接判別する。 そのため、ggdはノードの損失計算に$o(1)$しか必要としない。 さらにggdは、大規模データセットのgclメソッドに比べて、競争力のあるパフォーマンスを得るためには、トレーニング期間が非常に少ない。 これら2つの利点は、ggdに非常に効率的な特性を与える。 大規模な実験により、GGDは8つのデータセット上で最先端の自己管理手法より優れていることが示された。 特に GGD は ogbn-arxiv 上で 0.18 秒 (データ前処理を含む 6.44 秒) でトレーニングすることができる。 GGDは、数十億のエッジを持つogbn-papers100Mで9時間訓練され、精度と効率の両方でGCLよりも優れている。

関連論文リスト

• Efficient Graph Similarity Computation with Alignment Regularization [7.143879014059894]
  グラフ類似性計算(GSC)は、グラフニューラルネットワーク(GNN)を用いた学習に基づく予測タスクである。 適応正規化(AReg)と呼ばれる,シンプルながら強力な正規化技術によって,高品質な学習が達成可能であることを示す。 推論段階では、GNNエンコーダによって学習されたグラフレベル表現は、ARegを再度使用せずに直接類似度スコアを計算するために使用される。
  論文  参考訳（メタデータ） (2024-06-21T07:37:28Z)
• Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
  グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-22T14:57:09Z)
• Sequential Gradient Coding For Straggler Mitigation [28.090458692750023]
  分散コンピューティングでは、遅いノード(ストラグラー)がボトルネックとなる。 グラディエント符号化(GC)は、誤り訂正符号の原理を用いて、ストラグラーの存在下で勾配計算を分散する効率的な手法である。 本稿では,GCと比較して性能向上を示す2つのスキームを提案する。
  論文  参考訳（メタデータ） (2022-11-24T21:12:49Z)
• Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
  グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。 グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
  論文  参考訳（メタデータ） (2022-09-28T09:52:15Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• Graph Communal Contrastive Learning [34.85906025283825]
  グラフ表現学習の基本的な問題は、人間のラベル付けなしで表現を効果的に学習する方法である。 本稿では,コミュニティ分割を共同で学習し,ノード表現を学習するグラフコントラスト学習(gCooL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-28T02:57:54Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。