論文の概要: On Oversquashing in Graph Neural Networks Through the Lens of Dynamical Systems

• arxiv url: http://arxiv.org/abs/2405.01009v2
• Date: Fri, 28 Feb 2025 10:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 16:38:44.819849
• Title: On Oversquashing in Graph Neural Networks Through the Lens of Dynamical Systems
• Title（参考訳）: 動的システムのレンズによるグラフニューラルネットワークのオーバーカッシングについて
• Authors: Alessio Gravina, Moshe Eliasof, Claudio Gallicchio, Davide Bacciu, Carola-Bibiane Schönlieb,
• Abstract要約: Message-Passing Neural Networksの一般的な問題はオーバーカッシング(oversquashing)である。 本稿では, 過疎化に対処する新たな視点を導入し, グローバルおよびローカルな非拡散性のシステム特性を活用する。 空間領域と重み領域の両方において反対称性を持つ一意にパラメータ化されたGNNモデルであるSWANを非拡散性を得る手段として提示する。
• 参考スコア（独自算出の注目度）: 28.351050664151536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common problem in Message-Passing Neural Networks is oversquashing -- the limited ability to facilitate effective information flow between distant nodes. Oversquashing is attributed to the exponential decay in information transmission as node distances increase. This paper introduces a novel perspective to address oversquashing, leveraging dynamical systems properties of global and local non-dissipativity, that enable the maintenance of a constant information flow rate. We present SWAN, a uniquely parameterized GNN model with antisymmetry both in space and weight domains, as a means to obtain non-dissipativity. Our theoretical analysis asserts that by implementing these properties, SWAN offers an enhanced ability to transmit information over extended distances. Empirical evaluations on synthetic and real-world benchmarks that emphasize long-range interactions validate the theoretical understanding of SWAN, and its ability to mitigate oversquashing.
• Abstract（参考訳）: Message-Passing Neural Networksの一般的な問題はオーバーカッシング(oversquashing)である。 オーバーウォーキングは、ノード距離が増加するにつれて情報伝達の指数的な減衰に起因する。 本稿では, 過疎化に対処する新たな視点を導入し, グローバルおよび非拡散性の力学系特性を活用し, 一定の情報流量の維持を可能にする。 空間領域と重み領域の両方において反対称性を持つ一意にパラメータ化されたGNNモデルであるSWANを非拡散性を得る手段として提示する。 我々の理論的分析は、これらの特性を実装することで、SWANは拡張された距離で情報を伝達する能力を提供すると主張している。 長距離相互作用を強調する合成および実世界のベンチマークに関する実証的な評価は、SWANの理論的理解と過度の監視を緩和する能力を検証する。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [57.17129753411926]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• Virtual Nodes Improve Long-term Traffic Prediction [9.125554921271338]
  本研究では,仮想ノードを組み込んだ新しいフレームワークを紹介し,グラフに追加したノードを既存ノードに接続する。 提案モデルでは,セミアダプティブ・アジャシエイト行列を構築し,仮想ノードを組み込んだ。 実験により,仮想ノードの挿入は長期予測精度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-01-17T09:09:01Z)
• A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks [18.185834696177654]
  グラフニューラルネットワーク(GNN)のオーバースムース化は、ネットワークの深さが増加するにつれて大きな課題となる。 オーバースムーシングの根本原因を特定し,textbftextitDYNAMO-GATを提案する。 我々の理論的分析は、DYNAMO-GATが過密状態への収束を妨げていることを示している。
  論文  参考訳（メタデータ） (2024-12-10T07:07:06Z)
• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction [2.016553603539141]
  ST-SampleNetは、CNNと自己アテンション機構を組み合わせたトランスフォーマーベースのアーキテクチャで、ローカルとグローバル両方の関係をキャプチャする。 実験により,計算コストの40%削減を実現した。
  論文  参考訳（メタデータ） (2024-11-11T10:03:59Z)
• Advanced Financial Fraud Detection Using GNN-CL Model [13.5240775562349]
  本稿では,金融不正検出の分野において,革新的なGNN-CLモデルを提案する。 グラフニューラルネットワーク(gnn)、畳み込みニューラルネットワーク(cnn)、長期記憶(LSTM)の利点を組み合わせる。 本稿では,マルチ層パーセプトロン(MLPS)を用いてノードの類似性を推定する。
  論文  参考訳（メタデータ） (2024-07-09T03:59:06Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Exploring the Complexity of Deep Neural Networks through Functional Equivalence [1.3597551064547502]
  本稿では,ニューラルネットワークの複雑性を低減できることを示す,ディープニューラルネットワークの被覆数に縛られた新しい手法を提案する。 ネットワーク幅の増大により有効パラメータ空間の容量が減少するので、パラメータ化ネットワーク上でのトレーニングが容易になる傾向があるため、関数同値の利点が最適化されることを実証する。
  論文  参考訳（メタデータ） (2023-05-19T04:01:27Z)
• Field theory for optimal signal propagation in ResNets [1.053373860696675]
  残余ネットワークは、フィードフォワードネットワークよりも大幅に訓練性と性能が向上する。 従来の研究では、残枝にスケーリングパラメータを追加することにより、一般化性能がさらに向上した。 我々は、信号伝搬とその残枝のスケーリングへの依存性を研究するために、残枝ネットワークの体系的有限サイズ場理論を導出した。
  論文  参考訳（メタデータ） (2023-05-12T18:14:21Z)
• Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
  我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。 大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2023-02-02T10:40:06Z)
• Optimized Symbolic Interval Propagation for Neural Network Verification [1.8047694351309207]
  DPNeurifyFVは低次元入力空間を持つReLUネットワークの分岐結合解法である。 本稿では,空中衝突回避ネットワークACAS Xuに対するアプローチを評価し,現状のツールと比較して実行時の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-15T14:15:29Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Deep Neural Networks and PIDE discretizations [2.4063592468412276]
  畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。 本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。 自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
  論文  参考訳（メタデータ） (2021-08-05T08:03:01Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。