論文の概要: Scaling Up, Scaling Deep: Blockwise Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2306.02117v1
• Date: Sat, 3 Jun 2023 14:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 20:07:08.126532
• Title: Scaling Up, Scaling Deep: Blockwise Graph Contrastive Learning
• Title（参考訳）: スケールアップ、スケールアップ: ブロックワイズなグラフコントラスト学習
• Authors: Jintang Li, Wangbin Sun, Ruofan Wu, Yuchang Zhu, Liang Chen, Zibin Zheng
• Abstract要約: グラフコントラスト学習(GCL)は、膨大なラベルのないグラフデータを活用するための有望な方法として浮上している。 GCLにおけるネットワーク深度の増加は,その深部表現の過度なスムース化にも繋がることを示す。 我々は、GCLが悪名高い過度にスムースすることを防ぐために、驚くほどシンプルで効果的なブロックワイズトレーニングフレームワークであるBlockGCLを紹介した。
• 参考スコア（独自算出の注目度）: 21.557287761773928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oversmoothing is a common phenomenon in graph neural networks (GNNs), in which an increase in the network depth leads to a deterioration in their performance. Graph contrastive learning (GCL) is emerging as a promising way of leveraging vast unlabeled graph data. As a marriage between GNNs and contrastive learning, it remains unclear whether GCL inherits the same oversmoothing defect from GNNs. This work undertakes a fundamental analysis of GCL from the perspective of oversmoothing on the first hand. We demonstrate empirically that increasing network depth in GCL also leads to oversmoothing in their deep representations, and surprisingly, the shallow ones. We refer to this phenomenon in GCL as long-range starvation', wherein lower layers in deep networks suffer from degradation due to the lack of sufficient guidance from supervision (e.g., loss computing). Based on our findings, we present BlockGCL, a remarkably simple yet effective blockwise training framework to prevent GCL from notorious oversmoothing. Without bells and whistles, BlockGCL consistently improves robustness and stability for well-established GCL methods with increasing numbers of layers on real-world graph benchmarks. We believe our work will provide insights for future improvements of scalable and deep GCL frameworks.
• Abstract（参考訳）: オーバースムーシング(Oversmoothing)は、グラフニューラルネットワーク(GNN)において一般的な現象であり、ネットワーク深度の増加によってパフォーマンスが低下する。 グラフコントラスト学習(gcl)は、巨大なラベルのないグラフデータを活用する有望な方法として登場している。 GNNと対照的な学習の結婚として、GCLがGNNから同じ過度な欠陥を継承するかどうかは不明である。 本研究は,まず,過剰なスムーシングの観点から,GCLの基本的な解析を行う。 gclにおけるネットワークの深さの増加は、その深い表現、そして驚くほど浅い表現に過剰な影響をもたらすことを実証的に示します。 我々は、gclにおけるこの現象を長距離飢餓(long-range starvation)と呼び、深層ネットワークの低層層層が、監督(例えば損失計算)からの十分なガイダンスの欠如により劣化に苦しむ。 以上の結果から,GCLが悪名高い過密を防ぎ,極めてシンプルで効果的なブロックワイドトレーニングフレームワークであるBlockGCLを提案する。 ベルとホイッスルがなければ、BlockGCLは、実世界のグラフベンチマークでレイヤー数が増加することにより、確立されたGCLメソッドの堅牢性と安定性を一貫して改善する。 当社の作業は、スケーラブルで深いGCLフレームワークの将来的な改善に関する洞察を提供すると思います。

関連論文リスト

• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• Provable Training for Graph Contrastive Learning [58.8128675529977]
  Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 GCLのトレーニングは、実際にはすべてのノードで不均衡であることを示す。 ノードがGCLの原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。
  論文  参考訳（メタデータ） (2023-09-25T08:23:53Z)
• Similarity Preserving Adversarial Graph Contrastive Learning [5.671825576834061]
  類似性を保存する逆数グラフの対比学習フレームワークを提案する。 本稿では,複数の下流タスクにおいてSP-AGCLが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-24T04:02:50Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum [91.06367395889514]
  グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。 GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。 汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T15:32:00Z)
• Adversarial Graph Augmentation to Improve Graph Contrastive Learning [21.54343383921459]
  本稿では,GNNがトレーニング中に冗長な情報を捕捉することを避けるために,AD-GCL(adversarial-GCL)と呼ばれる新しい原理を提案する。 我々は、AD-GCLを最先端のGCL法と比較し、教師なしで最大$14%、転送で$6%、半教師なしの学習環境で$3%の性能向上を達成した。
  論文  参考訳（メタデータ） (2021-06-10T15:34:26Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。