論文の概要: A Unified Paths Perspective for Pruning at Initialization
- arxiv url: http://arxiv.org/abs/2101.10552v1
- Date: Tue, 26 Jan 2021 04:29:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 19:49:14.516087
- Title: A Unified Paths Perspective for Pruning at Initialization
- Title（参考訳）: 初期化時の散布のための統一パス
- Authors: Thomas Gebhart, Udit Saxena, Paul Schrater
- Abstract要約: ニューラルタンジェントカーネルの分解におけるデータ非依存要因としてパスカーネルを紹介します。
パスカーネルのグローバル構造を効率的に計算できることを示します。
データ不在時におけるネットワークのトレーニングと一般化パフォーマンスの近似におけるこの構造の使用を分析します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A number of recent approaches have been proposed for pruning neural network
parameters at initialization with the goal of reducing the size and
computational burden of models while minimally affecting their training
dynamics and generalization performance. While each of these approaches have
some amount of well-founded motivation, a rigorous analysis of the effect of
these pruning methods on network training dynamics and their formal
relationship to each other has thus far received little attention. Leveraging
recent theoretical approximations provided by the Neural Tangent Kernel, we
unify a number of popular approaches for pruning at initialization under a
single path-centric framework. We introduce the Path Kernel as the
data-independent factor in a decomposition of the Neural Tangent Kernel and
show the global structure of the Path Kernel can be computed efficiently. This
Path Kernel decomposition separates the architectural effects from the
data-dependent effects within the Neural Tangent Kernel, providing a means to
predict the convergence dynamics of a network from its architecture alone. We
analyze the use of this structure in approximating training and generalization
performance of networks in the absence of data across a number of
initialization pruning approaches. Observing the relationship between input
data and paths and the relationship between the Path Kernel and its natural
norm, we additionally propose two augmentations of the SynFlow algorithm for
pruning at initialization.
- Abstract（参考訳）: モデルのサイズと計算負荷を低減し、トレーニングダイナミクスと一般化性能に最小限の影響を与えながら、初期化時にニューラルネットワークパラメータを刈り取るための、最近の多くのアプローチが提案されている。
それぞれのアプローチにはある程度のモチベーションがあるが、ネットワークトレーニングのダイナミクスに対するプルーニング手法の効果の厳密な分析や、両者の形式的関係は今のところほとんど注目されていない。
Neural Tangent Kernelによる最近の理論的近似を活用して、私たちは単一のパス中心のフレームワークで初期化時に引き裂くための多くの一般的なアプローチを統一します。
ニューラルタンジェントカーネルの分解におけるデータ非依存因子としてパスカーネルを導入し,パスカーネルのグローバル構造を効率的に計算可能であることを示す。
このパスカーネル分解は、アーキテクチャ効果とNeural Tangent Kernel内のデータ依存効果を分離し、ネットワークの収束ダイナミクスをアーキテクチャのみから予測する手段を提供する。
多数の初期化プルーニングアプローチにまたがるデータの欠如におけるネットワークのトレーニングと一般化パフォーマンスの近似におけるこの構造の使用を分析します。
入力データとパスの関係とパスカーネルとその自然ノルムとの関係を観察し、初期化時にプルーニングするためのSynFlowアルゴリズムの2つの拡張を提案します。
関連論文リスト
- Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide
Neural Networks [18.27510863075184]
勾配流を学習した無限幅ニューラルネットワークにおける特徴学習を,自己整合力学場理論を用いて解析する。
本研究では,各層に隠れた単位活性化と勾配を示す内積カーネルである決定論的動的順序パラメータの集合を,時間点のペアで構築する。
論文 参考訳（メタデータ） (2022-05-19T16:10:10Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Robust Learning of Parsimonious Deep Neural Networks [0.0]
本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。
最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。
我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
論文 参考訳（メタデータ） (2022-05-10T03:38:55Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Wide Neural
Networks [91.3755431537592]
ネットワークがランダムに切断されたとき、完全に接続されたニューラルネットワークでは、切断されたニューラルネットワークの経験的NTKが元のネットワークのものと収束することを示す。
我々は、MNISTとCIFAR-10の画像分類により、異なるアーキテクチャにわたるランダムプルーニングを評価することにより、我々の理論をさらに検証する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Graph-based Algorithm Unfolding for Energy-aware Power Allocation in
Wireless Networks [27.600081147252155]
我々は,無線通信ネットワークにおけるエネルギー効率(WSEE)を最大化する新しいグラフ要約フレームワークを開発した。
本稿では,最大電力制約下での優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2022-01-27T20:23:24Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳（メタデータ） (2021-10-29T07:53:35Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-05-15T14:10:35Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。