論文の概要: ContraNorm: A Contrastive Learning Perspective on Oversmoothing and Beyond

• arxiv url: http://arxiv.org/abs/2303.06562v1
• Date: Sun, 12 Mar 2023 04:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 18:14:38.090688
• Title: ContraNorm: A Contrastive Learning Perspective on Oversmoothing and Beyond
• Title（参考訳）: ContraNorm: オーバースムーシングとBeyondに関する対照的な学習視点
• Authors: Xiaojun Guo, Yifei Wang, Tianqi Du, Yisen Wang
• Abstract要約: オーバースムーシング(Oversmoothing)は、広範囲のグラフニューラルネットワーク(GNN)とトランスフォーマーに共通する現象である。 埋め込み空間における表現を暗黙的に破壊するContraNormと呼ばれる新しい正規化層を提案する。 提案する正規化層は,パラメータのオーバーヘッドが無視できるGNNやTransformerに容易に統合できる。
• 参考スコア（独自算出の注目度）: 13.888935924826903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oversmoothing is a common phenomenon in a wide range of Graph Neural Networks (GNNs) and Transformers, where performance worsens as the number of layers increases. Instead of characterizing oversmoothing from the view of complete collapse in which representations converge to a single point, we dive into a more general perspective of dimensional collapse in which representations lie in a narrow cone. Accordingly, inspired by the effectiveness of contrastive learning in preventing dimensional collapse, we propose a novel normalization layer called ContraNorm. Intuitively, ContraNorm implicitly shatters representations in the embedding space, leading to a more uniform distribution and a slighter dimensional collapse. On the theoretical analysis, we prove that ContraNorm can alleviate both complete collapse and dimensional collapse under certain conditions. Our proposed normalization layer can be easily integrated into GNNs and Transformers with negligible parameter overhead. Experiments on various real-world datasets demonstrate the effectiveness of our proposed ContraNorm. Our implementation is available at https://github.com/PKU-ML/ContraNorm.
• Abstract（参考訳）: オーバースムーシング(Oversmoothing)は、幅広いグラフニューラルネットワーク(GNN)とトランスフォーマーにおいて一般的な現象であり、レイヤーの数が増えるにつれてパフォーマンスが悪化する。 表現が一点に収束する完全崩壊の観点から過度に滑らかな表現を特徴づける代わりに、表現が狭い円錐の中に置かれる次元崩壊のより一般的な視点に飛び込む。 したがって,次元崩壊防止におけるコントラスト学習の有効性に着想を得て,contranormと呼ばれる新しい正規化層を提案する。 直感的には、ContraNormは埋め込み空間における表現を暗黙的に破壊し、より均一な分布とわずかに次元の崩壊をもたらす。 理論的解析において、ContraNormは特定の条件下での完全崩壊と次元崩壊を緩和できることを示す。 提案する正規化層は,パラメータオーバーヘッドが無視できるGNNやTransformerに容易に統合できる。 提案したContraNormの有効性を実世界の様々なデータセットで実証した。 実装はhttps://github.com/PKU-ML/ContraNorm.comで公開しています。

関連論文リスト

• Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs [30.003409099607204]
  残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。 正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。 本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
  論文  参考訳（メタデータ） (2024-06-05T06:53:16Z)
• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• What Does the Gradient Tell When Attacking the Graph Structure [44.44204591087092]
  本稿では,GNNのメッセージパッシング機構により,攻撃者がクラス間エッジを増大させる傾向があることを示す。 異なるノードを接続することで、攻撃者はより効果的にノード機能を破損させ、そのような攻撃をより有利にする。 本研究では,攻撃効率と非受容性のバランスを保ち,より優れた非受容性を実現するために攻撃効率を犠牲にする,革新的な攻撃損失を提案する。
  論文  参考訳（メタデータ） (2022-08-26T15:45:20Z)
• Revisiting Over-smoothing in BERT from the Perspective of Graph [111.24636158179908]
  近年,トランスフォーマーモデルにおける過度に平滑化現象が視覚と言語の両方で観測されている。 層正規化はトランスフォーマーモデルにおける過度に平滑な問題において重要な役割を果たす。 異なる層からの表現を適応的に組み合わせ、出力をより多様にする階層的融合戦略を考察する。
  論文  参考訳（メタデータ） (2022-02-17T12:20:52Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• The Equilibrium Hypothesis: Rethinking implicit regularization in Deep Neural Networks [1.7188280334580197]
  現代のDeep Neural Networks (DNN) は、明示的な正規化を伴わない様々なタスクにおいて、印象的な一般化特性を示す。 Baratin et al. (2021) による最近の研究は、興味深い暗黙の正規化効果に光を当て、いくつかの層が他の層よりもはるかにデータラベルと整合していることを示している。 このことは、ネットワークの深さと幅が大きくなるにつれて、トレーニング中に暗黙の層選択現象が発生することを示唆している。
  論文  参考訳（メタデータ） (2021-10-22T12:49:31Z)
• Understanding Dimensional Collapse in Contrastive Self-supervised Learning [57.98014222570084]
  非競合的手法は、異なる性質のより少ない崩壊問題、すなわち次元的崩壊に悩まされることを示す。 この理論に触発されて、トレーニング可能なプロジェクタを使わずに表現空間を直接最適化する、DirectCLRと呼ばれる新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:22:19Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。