論文の概要: A Deep Graph Neural Networks Architecture Design: From Global Pyramid-like Shrinkage Skeleton to Local Topology Link Rewiring

• arxiv url: http://arxiv.org/abs/2012.08717v1
• Date: Wed, 16 Dec 2020 03:14:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:29:22.626228
• Title: A Deep Graph Neural Networks Architecture Design: From Global Pyramid-like Shrinkage Skeleton to Local Topology Link Rewiring
• Title（参考訳）: ディープグラフニューラルネットワークアーキテクチャ設計:グローバルピラミッド風収縮骨格から局所トポロジリンクリライトへ
• Authors: Gege Zhang
• Abstract要約: 本稿では,大域的モデル収縮,重み展開,リンクの重み付けを含む,臨界表現率に基づく3ピペリントレーニングフレームワークを提案する。 ネットワークトポロジにおけるモジュラリティ(クラスタリング)現象の理由を分析し、潜在的な誤った重み付きリンクを再配線するために使用します。 GNNのアーキテクチャ設計は、動的および位相空間的な側面からGNNの表現性を検証する。
• 参考スコア（独自算出の注目度）: 1.455240131708017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expressivity plays a fundamental role in evaluating deep neural networks, and it is closely related to understanding the limit of performance improvement. In this paper, we propose a three-pipeline training framework based on critical expressivity, including global model contraction, weight evolution, and link's weight rewiring. Specifically, we propose a pyramidal-like skeleton to overcome the saddle points that affect information transfer. Then we analyze the reason for the modularity (clustering) phenomenon in network topology and use it to rewire potential erroneous weighted links. We conduct numerical experiments on node classification and the results confirm that the proposed training framework leads to a significantly improved performance in terms of fast convergence and robustness to potential erroneous weighted links. The architecture design on GNNs, in turn, verifies the expressivity of GNNs from dynamics and topological space aspects and provides useful guidelines in designing more efficient neural networks.
• Abstract（参考訳）: 表現性はディープニューラルネットワークの評価において基本的な役割を担い、パフォーマンス改善の限界を理解することと密接に関連している。 本稿では,大域的モデル収縮,重みの進化,リンクの重み回復など,臨界表現性に基づく3つのパイプラインのトレーニングフレームワークを提案する。 具体的には,情報伝達に影響を与える鞍点を克服するピラミッド状骨格を提案する。 そして、ネットワークトポロジにおけるモジュラリティ(クラスタリング)現象の理由を分析し、それを潜在的に誤った重み付きリンクをリ配線する。 ノード分類に関する数値実験を行い,提案したトレーニングフレームワークが,誤重み付きリンクに対する高速収束とロバスト性において,性能を著しく向上させることを確認した。 GNNのアーキテクチャ設計は、動的および位相空間的な側面からGNNの表現性を検証し、より効率的なニューラルネットワークの設計に有用なガイドラインを提供する。

関連論文リスト

• Advanced Financial Fraud Detection Using GNN-CL Model [13.5240775562349]
  本稿では,金融不正検出の分野において,革新的なGNN-CLモデルを提案する。 グラフニューラルネットワーク(gnn)、畳み込みニューラルネットワーク(cnn)、長期記憶(LSTM)の利点を組み合わせる。 本稿では,マルチ層パーセプトロン(MLPS)を用いてノードの類似性を推定する。
  論文  参考訳（メタデータ） (2024-07-09T03:59:06Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Curvature Graph Neural Network [8.477559786537919]
  離散グラフ曲率(リッチ曲率)を導入し、対ノードの構造接続の強度を定量化する。 GNNの適応的局所性能力を効果的に向上する曲線グラフニューラルネットワーク(CGNN)を提案する。 合成データセットの実験結果から,CGNNはトポロジ構造情報を効果的に活用していることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T00:56:03Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。