論文の概要: Towards Deeper GCNs: Alleviating Over-smoothing via Iterative Training and Fine-tuning

• arxiv url: http://arxiv.org/abs/2506.17576v1
• Date: Sat, 21 Jun 2025 04:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.480921
• Title: Towards Deeper GCNs: Alleviating Over-smoothing via Iterative Training and Fine-tuning
• Title（参考訳）: より深いGCNを目指して:反復訓練と微調整による過密化の軽減
• Authors: Furong Peng, Jinzhen Gao, Xuan Lu, Kang Liu, Yifan Huo, Sheng Wang,
• Abstract要約: Graph Convolutional Networks (GCNs) は、過度なスムーシングによるディープアーキテクチャのパフォーマンス低下に悩まされている。 本稿では,その表現能力を維持しつつ,深いGCNを段階的に構築する新たなトレーニング戦略である層ワイド・グラデュアル・トレーニング(LGT)を提案する。 LGTはベンチマークデータセットで最先端のパフォーマンスを実現し、32層設定でも精度を大幅に向上する。
• 参考スコア（独自算出の注目度）: 7.841760459191837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) suffer from severe performance degradation in deep architectures due to over-smoothing. While existing studies primarily attribute the over-smoothing to repeated applications of graph Laplacian operators, our empirical analysis reveals a critical yet overlooked factor: trainable linear transformations in GCNs significantly exacerbate feature collapse, even at moderate depths (e.g., 8 layers). In contrast, Simplified Graph Convolution (SGC), which removes these transformations, maintains stable feature diversity up to 32 layers, highlighting linear transformations' dual role in facilitating expressive power and inducing over-smoothing. However, completely removing linear transformations weakens the model's expressive capacity. To address this trade-off, we propose Layer-wise Gradual Training (LGT), a novel training strategy that progressively builds deep GCNs while preserving their expressiveness. LGT integrates three complementary components: (1) layer-wise training to stabilize optimization from shallow to deep layers, (2) low-rank adaptation to fine-tune shallow layers and accelerate training, and (3) identity initialization to ensure smooth integration of new layers and accelerate convergence. Extensive experiments on benchmark datasets demonstrate that LGT achieves state-of-the-art performance on vanilla GCN, significantly improving accuracy even in 32-layer settings. Moreover, as a training method, LGT can be seamlessly combined with existing methods such as PairNorm and ContraNorm, further enhancing their performance in deeper networks. LGT offers a general, architecture-agnostic training framework for scalable deep GCNs. The code is available at [https://github.com/jfklasdfj/LGT_GCN].
• Abstract（参考訳）: Graph Convolutional Networks (GCNs) は、過度なスムーシングによるディープアーキテクチャのパフォーマンス低下に悩まされている。 既存の研究は、主にグラフラプラシア作用素の繰り返し適用による過度な滑らかさを特徴としているが、我々の経験的分析は、重要なが見過ごされた要因を明らかにしている:GCNにおけるトレーニング可能な線形変換は、中程度(例:8層)でも、特徴の崩壊を著しく悪化させる。 対照的に、これらの変換を取り除いたSGC(Simplified Graph Convolution)は、32層までの安定した機能の多様性を維持し、表現力の促進と過剰なスムーシングの誘発における線形変換の二重の役割を強調している。 しかし、線形変換を完全に除去することは、モデルの表現能力を弱める。 このトレードオフに対処するため,我々は,表現性を保ちながら深いGCNを段階的に構築する新たなトレーニング戦略である層ワイド・グラデュアル・トレーニング(LGT)を提案する。 LGTは,(1)浅い層から深い層への最適化を最適化するためのレイヤワイズトレーニング,(2)細い層への低ランク適応と訓練の促進,(3)新しい層のスムーズな統合と収束の促進のためのアイデンティティ初期化の3つの相補的コンポーネントを統合している。 ベンチマークデータセットの大規模な実験により、LGTはバニラGCNで最先端のパフォーマンスを実現し、32層設定でも精度が大幅に向上した。 さらに、トレーニング手法として、LGTはPairNormやContraNormといった既存の手法とシームレスに結合することができ、より深いネットワークにおけるパフォーマンスをさらに向上させることができる。 LGTは、スケーラブルなディープGCNのための一般的なアーキテクチャに依存しないトレーニングフレームワークを提供する。 コードは[https://github.com/jfklasdfj/LGT_GCN]で入手できる。

関連論文リスト

• Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
  ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。 本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。 また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
  論文  参考訳（メタデータ） (2024-12-16T13:48:40Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification [0.0]
  Z-Score Normalization for Gradient Descent (ZNorm)は、ネットワークアーキテクチャを変更することなく勾配のみを調整し、トレーニングを加速し、モデル性能を向上させる革新的な技術である。 ZNormは、全体的な勾配を正規化し、レイヤ間の一貫性のある勾配スケーリングを提供し、グラデーションの消滅と爆発のリスクを効果的に低減し、優れたパフォーマンスを達成する。 医用画像の応用において、ZNormは腫瘍の予測とセグメンテーションの精度を大幅に向上させ、その実用性を強調している。
  論文  参考訳（メタデータ） (2024-08-02T12:04:19Z)
• Adaptive Gradient Regularization: A Faster and Generalizable Optimization Technique for Deep Neural Networks [5.507301894089302]
  本稿では、勾配ベクトルの和正規化を係数として、ディープニューラルネットワークの新しい最適化手法を研究するための最初の試みである。 提案手法は適応勾配正規化 (Adaptive gradient regularization, AGR) と呼ばれる。
  論文  参考訳（メタデータ） (2024-07-24T02:23:18Z)
• Efficient Real-world Image Super-Resolution Via Adaptive Directional Gradient Convolution [80.85121353651554]
  畳み込みカーネル内でのカーネル単位の微分演算を導入し、学習可能な方向勾配畳み込みを開発する。 これらの畳み込みは、新しい線形重み付け機構と平行に統合され、適応方向勾配畳み込み(DGConv)を形成する。 さらに,適応情報相互作用ブロック(AIIBlock)を設計し,テクスチャとコントラストの強化のバランスをとるとともに,相互依存性を慎重に検討し,単純な積み重ねによるリアルSRのためのDGPNetを作成する。
  論文  参考訳（メタデータ） (2024-05-11T14:21:40Z)
• Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again [96.4999517230259]
  我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-14T21:30:25Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。