論文の概要: Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations
- arxiv url: http://arxiv.org/abs/2305.16886v2
- Date: Thu, 25 Apr 2024 08:00:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-27 00:17:35.073704
- Title: Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations
- Title(参考訳): 多部グラフ表現によるスパースニューラルネットワークのトポロジからの理解
- Authors: Elia Cunegatti, Matteo Farina, Doina Bucur, Giovanni Iacca,
- Abstract要約: Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Networks)を提供する。
しかし,SNNのトポロジカルな指標が,優れたパフォーマンスを特徴付けていることはいまだ分かっていない。
線形層と畳み込み層の両方を持つSNNのための包括的トポロジ解析を,(i)新しい入力対応マルチパートグラフ(MGE)を用いて設計し,SNNのための総合的トポロジ解析を行う。
- 参考スコア(独自算出の注目度): 4.07484910093752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pruning-at-Initialization (PaI) algorithms provide Sparse Neural Networks (SNNs) which are computationally more efficient than their dense counterparts, and try to avoid performance degradation. While much emphasis has been directed towards \emph{how} to prune, we still do not know \emph{what topological metrics} of the SNNs characterize \emph{good performance}. From prior work, we have layer-wise topological metrics by which SNN performance can be predicted: the Ramanujan-based metrics. To exploit these metrics, proper ways to represent network layers via Graph Encodings (GEs) are needed, with Bipartite Graph Encodings (BGEs) being the \emph{de-facto} standard at the current stage. Nevertheless, existing BGEs neglect the impact of the inputs, and do not characterize the SNN in an end-to-end manner. Additionally, thanks to a thorough study of the Ramanujan-based metrics, we discover that they are only as good as the \emph{layer-wise density} as performance predictors, when paired with BGEs. To close both gaps, we design a comprehensive topological analysis for SNNs with both linear and convolutional layers, via (i) a new input-aware Multipartite Graph Encoding (MGE) for SNNs and (ii) the design of new end-to-end topological metrics over the MGE. With these novelties, we show the following: (a) The proposed MGE allows to extract topological metrics that are much better predictors of the accuracy drop than metrics computed from current input-agnostic BGEs; (b) Which metrics are important at different sparsity levels and for different architectures; (c) A mixture of our topological metrics can rank PaI algorithms more effectively than Ramanujan-based metrics. The codebase is publicly available at https://github.com/eliacunegatti/mge-snn.
- Abstract(参考訳): Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Neural Networks)を提供する。
プルーンに 'emph{how} に重点を置いているが、SNN の \emph{what topological metrics} が \emph{good performance} を特徴づけていることはいまだ分かっていない。
これまでの作業から、SNNのパフォーマンスを予測できるレイヤワイドなトポロジメトリクス(Ramanujanベースのメトリクス)があります。
これらのメトリクスを利用するには、Graph Encodings(GE)を介してネットワーク層を表現する適切な方法が必要であり、BGE(Bipartite Graph Encodings)が現在のemph{de-facto}標準となっている。
それでも既存のBGEは入力の影響を無視し、SNNをエンドツーエンドで特徴づけない。
さらに、ラマヌジャンに基づくメトリクスの徹底的な研究により、BGEと組み合わせた場合、それらが性能予測器と同等に優れていることが判明した。
両方のギャップを埋めるため、線形層と畳み込み層の両方を持つSNNの総合的なトポロジ解析を設計する。
(i)SNNとMGEのための新しい入力対応マルチパートグラフ符号化(MGE)
(II) MGE上の新しいエンドツーエンドのトポロジメトリクスの設計。
これらの斬新さから、以下のことが分かる。
(a)提案したMGEは、現在の入力に依存しないBGEから計算した指標よりも、精度低下の予測器としてはるかに優れたトポロジカルメトリクスを抽出することができる。
b) どの指標が、異なる疎度レベルと異なるアーキテクチャにおいて重要であるか。
(c)我々のトポロジカルメトリクスの混合は、ラマヌジャンのメトリクスよりもPaIアルゴリズムを効果的にランク付けすることができる。
コードベースはhttps://github.com/eliacunegatti/mge-snnで公開されている。
関連論文リスト
- Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。
本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文 参考訳(メタデータ) (2023-09-04T10:23:39Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - AGNN: Alternating Graph-Regularized Neural Networks to Alleviate
Over-Smoothing [29.618952407794776]
グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。
GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。
AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
論文 参考訳(メタデータ) (2023-04-14T09:20:03Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。
最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。
ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
論文 参考訳(メタデータ) (2021-03-29T12:34:36Z) - Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。
グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。
私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
論文 参考訳(メタデータ) (2020-12-20T04:20:38Z) - Counting Substructures with Higher-Order Graph Neural Networks:
Possibility and Impossibility Results [58.277290855841976]
グラフニューラルネットワーク(GNN)の計算コストと表現力のトレードオフについて検討する。
新しいモデルでは、$k$のサブグラフをカウントでき、低次GNNの既知の制限を克服できることを示す。
いくつかの場合において、提案アルゴリズムは既存の高階$k$-GNNに比べて計算量を大幅に削減することができる。
論文 参考訳(メタデータ) (2020-12-06T03:42:54Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - A Multiscale Graph Convolutional Network Using Hierarchical Clustering [0.0]
マルチスケールの分解によってこの情報を活用する新しいアーキテクチャを探索する。
デンドログラムは、Girvan-Newman階層的クラスタリングアルゴリズムによって生成される。
アーキテクチャはベンチマーク引用ネットワーク上でテストされ、競合性能を実証する。
論文 参考訳(メタデータ) (2020-06-22T18:13:03Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳(メタデータ) (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。