論文の概要: Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One

• arxiv url: http://arxiv.org/abs/2304.10126v2
• Date: Sun, 21 Apr 2024 03:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 01:32:01.843984
• Title: Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One
• Title（参考訳）: グラフニューラルネットワークの分離:1つではなく複数の単純なGNNを同時に訓練する
• Authors: Hongyuan Zhang, Yanan Zhu, Xuelong Li,
• Abstract要約: グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
• 参考スコア（独自算出の注目度）: 60.5818387068983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNN) suffer from severe inefficiency. It is mainly caused by the exponential growth of node dependency with the increase of layers. It extremely limits the application of stochastic optimization algorithms so that the training of GNN is usually time-consuming. To address this problem, we propose to decouple a multi-layer GNN as multiple simple modules for more efficient training, which is comprised of classical forward training (FT)and designed backward training (BT). Under the proposed framework, each module can be trained efficiently in FT by stochastic algorithms without distortion of graph information owing to its simplicity. To avoid the only unidirectional information delivery of FT and sufficiently train shallow modules with the deeper ones, we develop a backward training mechanism that makes the former modules perceive the latter modules. The backward training introduces the reversed information delivery into the decoupled modules as well as the forward information delivery. To investigate how the decoupling and greedy training affect the representational capacity, we theoretically prove that the error produced by linear modules will not accumulate on unsupervised tasks in most cases. The theoretical and experimental results show that the proposed framework is highly efficient with reasonable performance.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 これは主に、層の増加に伴うノード依存性の指数的な成長によって引き起こされる。 確率的最適化アルゴリズムの適用を極端に制限し、GNNのトレーニングには通常時間がかかります。 この問題に対処するために,従来のフォワードトレーニング(FT)と後方トレーニング(BT)で構成された,より効率的なトレーニングを行うための,複数の単純なモジュールとして多層GNNを分離することを提案する。 提案フレームワークでは,各モジュールを,その単純さによるグラフ情報の歪みを伴わずに,確率的アルゴリズムによりFT内で効率的に訓練することができる。 FTの一方的な情報配信を回避し,より深い部分で浅いモジュールを十分に訓練するために,前モジュールが後者のモジュールを知覚する後方トレーニング機構を開発する。 後方トレーニングでは、逆情報配信が分離されたモジュールと前方情報配信に導入される。 疎結合と欲求学習が表現能力にどのように影響するかを検討するために,線形加群が生成する誤差がほとんどの場合,教師なしタスクに蓄積されないことを理論的に証明する。 理論的および実験的な結果から,提案手法は妥当な性能で高い効率性を示す。

関連論文リスト

• Module-wise Training of Neural Networks via the Minimizing Movement Scheme [15.315147138002153]
  階層的あるいはモジュール的なニューラルネットワークのトレーニングは、メモリが制限された制約付きデバイス上の設定において魅力的なものだ。 分布空間における勾配流の最小化運動スキームに着想を得たモジュールワイズ正規化を提案する。 本稿では,ResNetsやTransformer,VGGといった各種アーキテクチャのモジュールワイドトレーニングにおいて,正規化が加えられた際の精度の向上を示す。
  論文  参考訳（メタデータ） (2023-09-29T16:03:25Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Boosting Distributed Full-graph GNN Training with Asynchronous One-bit Communication [23.883543151975136]
  大規模なグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、高いメモリ要求と限られたGPUメモリとの競合のため、難しい。 本稿では,GNNにおける1ビット量子化計算手法を用いた分散GNN学習フレームワークSylvieを提案する。 詳細は、Sylvie氏は、送信したデータを定量化し、受信したデータを各レイヤの完全な精度の値に戻すための軽量な低ビットモジュールを提供する。
  論文  参考訳（メタデータ） (2023-03-02T14:02:39Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Model-Driven Beamforming Neural Networks [47.754731555563836]
  本稿では、一般データおよびモデル駆動ビームフォーミングニューラルネットワーク(BNN)を紹介する。 様々な学習戦略を示し、DLベースのBNNの複雑さの低減についても論じている。 また、BNNの汎用性を向上させるため、トレーニングセットの強化や伝達学習などの強化手法も提供する。
  論文  参考訳（メタデータ） (2020-01-15T12:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。