論文の概要: Statistical physics analysis of graph neural networks: Approaching optimality in the contextual stochastic block model

• arxiv url: http://arxiv.org/abs/2503.01361v1
• Date: Mon, 03 Mar 2025 09:55:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:14:18.332369
• Title: Statistical physics analysis of graph neural networks: Approaching optimality in the contextual stochastic block model
• Title（参考訳）: グラフニューラルネットワークの統計物理解析:文脈確率ブロックモデルにおける最適性へのアプローチ
• Authors: O. Duranthon, L. Zdeborová,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフに関連するデータを処理するように設計されている。 GNNは、繰り返し集約ステップによって遠く離れたノードから情報を集めるのに苦労する可能性がある。 我々は,GCNのアーキテクチャが過度なスムーシングを避けるために,深さとともにスケールしなければならないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Graph neural networks (GNNs) are designed to process data associated with graphs. They are finding an increasing range of applications; however, as with other modern machine learning techniques, their theoretical understanding is limited. GNNs can encounter difficulties in gathering information from nodes that are far apart by iterated aggregation steps. This situation is partly caused by so-called oversmoothing; and overcoming it is one of the practically motivated challenges. We consider the situation where information is aggregated by multiple steps of convolution, leading to graph convolutional networks (GCNs). We analyze the generalization performance of a basic GCN, trained for node classification on data generated by the contextual stochastic block model. We predict its asymptotic performance by deriving the free energy of the problem, using the replica method, in the high-dimensional limit. Calling depth the number of convolutional steps, we show the importance of going to large depth to approach the Bayes-optimality. We detail how the architecture of the GCN has to scale with the depth to avoid oversmoothing. The resulting large depth limit can be close to the Bayes-optimality and leads to a continuous GCN. Technically, we tackle this continuous limit via an approach that resembles dynamical mean-field theory (DMFT) with constraints at the initial and final times. An expansion around large regularization allows us to solve the corresponding equations for the performance of the deep GCN. This promising tool may contribute to the analysis of further deep neural networks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフに関連するデータを処理するように設計されている。 しかし、現代の機械学習技術と同様に、理論的な理解は限られている。 GNNは、繰り返し集約ステップによって遠く離れたノードから情報を集めるのに苦労する可能性がある。 この状況は、部分的にはいわゆる過密によって引き起こされ、それを克服することが、事実上動機付けられた課題の1つである。 我々は、情報を複数の畳み込みのステップで集約し、グラフ畳み込みネットワーク(GCN)に繋がる状況を考える。 文脈確率ブロックモデルにより生成されたデータに基づいてノード分類を訓練した基本GCNの一般化性能を解析する。 レプリカ法を用いて,問題の自由エネルギーを高次元極限で導出することにより,その漸近性能を予測する。 畳み込みステップの数を深さと呼ぶと、ベイズ最適性に近づくために大きな深さに進むことの重要性が示される。 我々はGCNのアーキテクチャが過度なスムーシングを避けるために、どのようにして深さでスケールする必要があるかを詳述する。 結果として生じる大きな深さ制限はベイズ最適化に近くなり、連続GCNにつながる。 技術的には、この連続極限は、初期および最終段階で制約のある動的平均場理論(DMFT)に類似したアプローチによって対処する。 大規模正規化に関する拡張により、深いGCNの性能に対する対応する方程式を解くことができる。 この有望なツールは、さらに深いニューラルネットワークの分析に寄与する可能性がある。

関連論文リスト

• DeltaGNN: Graph Neural Network with Information Flow Control [5.563171090433323]
  グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスの近傍集約を通じてグラフ構造化データを処理するように設計されている。 メッセージパッシングにより、GNNは短距離空間的相互作用を理解できるだけでなく、過度なスムーシングや過度なスカッシングに悩まされる。 本稿では,線形計算オーバーヘッドを伴うオーバー・スムーシングとオーバー・スキャッシングに対処するための,emph情報フロー制御機構を提案する。 さまざまなサイズ、トポロジ、密度、ホモフィリック比のグラフを含む10の実世界のデータセットを対象に、我々のモデルをベンチマークし、優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-01-10T14:34:20Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Layer-wise training for self-supervised learning on graphs [0.0]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。 本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:23:39Z)
• DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks [19.483662490506646]
  我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。 実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。 我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
  論文  参考訳（メタデータ） (2023-02-10T06:57:12Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Deep Constraint-based Propagation in Graph Neural Networks [15.27048776159285]
  本稿では,ラグランジアンフレームワークにおける制約付き最適化に基づくグラフニューラルネットワーク(GNN)の学習手法を提案する。 我々の計算構造は、重み、ノード状態変数、ラグランジュ乗算器からなる随伴空間におけるラグランジアンのサドル点を探索する。 実験により,提案手法はいくつかのベンチマークで一般的なモデルと比較された。
  論文  参考訳（メタデータ） (2020-05-05T16:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。