論文の概要: Topological Insights into Sparse Neural Networks
- arxiv url: http://arxiv.org/abs/2006.14085v2
- Date: Sat, 4 Jul 2020 17:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 09:31:44.705808
- Title: Topological Insights into Sparse Neural Networks
- Title（参考訳）: スパースニューラルネットワークのトポロジ的考察
- Authors: Shiwei Liu, Tim Van der Lee, Anil Yaman, Zahra Atashgahi, Davide
Ferraro, Ghada Sokar, Mykola Pechenizkiy, Decebal Constantin Mocanu
- Abstract要約: 本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。
まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。
適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
- 参考スコア（独自算出の注目度）: 16.515620374178535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse neural networks are effective approaches to reduce the resource
requirements for the deployment of deep neural networks. Recently, the concept
of adaptive sparse connectivity, has emerged to allow training sparse neural
networks from scratch by optimizing the sparse structure during training.
However, comparing different sparse topologies and determining how sparse
topologies evolve during training, especially for the situation in which the
sparse structure optimization is involved, remain as challenging open
questions. This comparison becomes increasingly complex as the number of
possible topological comparisons increases exponentially with the size of
networks. In this work, we introduce an approach to understand and compare
sparse neural network topologies from the perspective of graph theory. We first
propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance
between different sparse neural networks. Further, we demonstrate that sparse
neural networks can outperform over-parameterized models in terms of
performance, even without any further structure optimization. To the end, we
also show that adaptive sparse connectivity can always unveil a plenitude of
sparse sub-networks with very different topologies which outperform the dense
model, by quantifying and comparing their topological evolutionary processes.
The latter findings complement the Lottery Ticket Hypothesis by showing that
there is a much more efficient and robust way to find "winning tickets".
Altogether, our results start enabling a better theoretical understanding of
sparse neural networks, and demonstrate the utility of using graph theory to
analyze them.
- Abstract（参考訳）: スパースニューラルネットワークは、ディープニューラルネットワークの展開におけるリソース要求を減らす効果的なアプローチである。
近年、適応スパース接続の概念が登場し、トレーニング中にスパース構造を最適化することでスパースニューラルネットワークをスクラッチからトレーニングできるようになった。
しかし、特にスパース構造最適化が関与する状況において、異なるスパーストポロジを比較し、スパーストポロジがどのように進化するかを決定することは、未解決の問題として残る。
この比較は、ネットワークのサイズに応じて位相的比較が指数関数的に増加するにつれてますます複雑になる。
本研究では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。
まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。
さらに、スパースニューラルネットワークは、さらなる構造最適化がなくても、オーバーパラメータモデルのパフォーマンスを上回ることができることを実証する。
最後に、適応的スパース接続は、そのトポロジカルな進化過程を定量化し比較することによって、密度モデルに匹敵する非常に異なるトポロジーを持つスパースサブネットワークの豊かさを常に顕現できることを示した。
後者の発見は、より効率的で堅牢な「勝利チケット」を見つける方法があることを示し、ロッテリー・チケット仮説を補完するものである。
また,この結果により,スパースニューラルネットワークの理論的理解が向上し,グラフ理論による解析の有用性が実証された。
関連論文リスト
- Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。
我々は,誤りや誤りを正確に予測し,分析結果を検証した。
論文 参考訳（メタデータ） (2024-09-23T17:57:58Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - CCasGNN: Collaborative Cascade Prediction Based on Graph Neural Networks [0.49269463638915806]
カスケード予測は,ネットワーク内の情報拡散をモデル化することを目的とした。
グラフニューラルネットワークとリカレントニューラルネットワークによるネットワーク構造とシーケンス特徴の組み合わせに関する研究
本稿では,個々のプロファイル,構造特徴,シーケンス情報を考慮した新しいCCasGNNを提案する。
論文 参考訳（メタデータ） (2021-12-07T11:37:36Z) - Understanding Convolutional Neural Networks from Theoretical Perspective
via Volterra Convolution [22.058311878382142]
本研究では,畳み込みニューラルネットワークと有限Volterra畳み込みの関係について検討する。
複雑なネットワークアーキテクチャに邪魔されることなく、ニューラルネットワークの全体的な特性を説明し、研究するための新しいアプローチを提供する。
論文 参考訳（メタデータ） (2021-10-19T12:07:46Z) - Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set [0.0]
本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。
ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。
その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
論文 参考訳（メタデータ） (2021-05-31T09:17:31Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。