論文の概要: Tackling Graph Oversquashing by Global and Local Non-Dissipativity

• arxiv url: http://arxiv.org/abs/2405.01009v1
• Date: Thu, 2 May 2024 05:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:43:16.648852
• Title: Tackling Graph Oversquashing by Global and Local Non-Dissipativity
• Title（参考訳）: 大域的および局所的非拡散性によるグラフオーバーカッシングの解法
• Authors: Alessio Gravina, Moshe Eliasof, Claudio Gallicchio, Davide Bacciu, Carola-Bibiane Schönlieb,
• Abstract要約: オーバーキャッシングは、遠く離れたノード間の効果的な情報フローを促進する限られた能力である。 本稿では, 過疎化に対処する新たな視点を導入し, グローバルおよびローカルな非拡散性の特性を活用する。 空間領域と重み領域の両方において反対称性を持つ一意にパラメータ化されたモデルGNNであるSWANを非拡散性を得る手段として提示する。
• 参考スコア（独自算出の注目度）: 28.351050664151536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common problem in Message-Passing Neural Networks is oversquashing -- the limited ability to facilitate effective information flow between distant nodes. Oversquashing is attributed to the exponential decay in information transmission as node distances increase. This paper introduces a novel perspective to address oversquashing, leveraging properties of global and local non-dissipativity, that enable the maintenance of a constant information flow rate. Namely, we present SWAN, a uniquely parameterized model GNN with antisymmetry both in space and weight domains, as a means to obtain non-dissipativity. Our theoretical analysis asserts that by achieving these properties, SWAN offers an enhanced ability to transmit information over extended distances. Empirical evaluations on synthetic and real-world benchmarks that emphasize long-range interactions validate the theoretical understanding of SWAN, and its ability to mitigate oversquashing.
• Abstract（参考訳）: Message-Passing Neural Networksの一般的な問題はオーバーカッシング(oversquashing)である。 オーバーウォーキングは、ノード距離が増加するにつれて情報伝達の指数的な減衰に起因する。 本稿では, 過疎化に対処する新たな視点を導入し, グローバルおよびローカルな非拡散性の特性を活用し, 一定の情報流量の維持を可能にする。 すなわち、空間領域と重み領域の両方において反対称性を持つ一意にパラメータ化されたモデルGNNであるSWANを非拡散性を得る手段として提示する。 我々の理論的分析は、これらの特性を達成することで、SWANは拡張された距離で情報を伝達する能力を提供すると主張している。 長距離相互作用を強調する合成および実世界のベンチマークに関する実証的な評価は、SWANの理論的理解と過度の監視を緩和する能力を検証する。

関連論文リスト

• Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction [2.016553603539141]
  ST-SampleNetは、CNNと自己アテンション機構を組み合わせたトランスフォーマーベースのアーキテクチャで、ローカルとグローバル両方の関係をキャプチャする。 実験により,計算コストの40%削減を実現した。
  論文  参考訳（メタデータ） (2024-11-11T10:03:59Z)
• Advanced Financial Fraud Detection Using GNN-CL Model [13.5240775562349]
  本稿では,金融不正検出の分野において,革新的なGNN-CLモデルを提案する。 グラフニューラルネットワーク(gnn)、畳み込みニューラルネットワーク(cnn)、長期記憶(LSTM)の利点を組み合わせる。 本稿では,マルチ層パーセプトロン(MLPS)を用いてノードの類似性を推定する。
  論文  参考訳（メタデータ） (2024-07-09T03:59:06Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Field theory for optimal signal propagation in ResNets [1.053373860696675]
  残余ネットワークは、フィードフォワードネットワークよりも大幅に訓練性と性能が向上する。 従来の研究では、残枝にスケーリングパラメータを追加することにより、一般化性能がさらに向上した。 我々は、信号伝搬とその残枝のスケーリングへの依存性を研究するために、残枝ネットワークの体系的有限サイズ場理論を導出した。
  論文  参考訳（メタデータ） (2023-05-12T18:14:21Z)
• Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning [23.47570704524471]
  我々は,各隠れノードの出力を正のパラメータでスケールする勾配流による大規模および浅層ニューラルネットワークの最適化を検討する。 大規模なニューラルネットワークでは、高い確率で勾配流がグローバルな最小限に収束し、NTK体制とは異なり、特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2023-02-02T10:40:06Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。