Fugu-MT 論文翻訳(概要): A Unified Paths Perspective for Pruning at Initialization

論文の概要: A Unified Paths Perspective for Pruning at Initialization

arxiv url: http://arxiv.org/abs/2101.10552v1
Date: Tue, 26 Jan 2021 04:29:50 GMT
ステータス: 処理完了
システム内更新日: 2021-03-13 19:49:14.516087
Title: A Unified Paths Perspective for Pruning at Initialization
Title（参考訳）: 初期化時の散布のための統一パス
Authors: Thomas Gebhart, Udit Saxena, Paul Schrater
Abstract要約: ニューラルタンジェントカーネルの分解におけるデータ非依存要因としてパスカーネルを紹介します。パスカーネルのグローバル構造を効率的に計算できることを示します。データ不在時におけるネットワークのトレーニングと一般化パフォーマンスの近似におけるこの構造の使用を分析します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A number of recent approaches have been proposed for pruning neural network parameters at initialization with the goal of reducing the size and computational burden of models while minimally affecting their training dynamics and generalization performance. While each of these approaches have some amount of well-founded motivation, a rigorous analysis of the effect of these pruning methods on network training dynamics and their formal relationship to each other has thus far received little attention. Leveraging recent theoretical approximations provided by the Neural Tangent Kernel, we unify a number of popular approaches for pruning at initialization under a single path-centric framework. We introduce the Path Kernel as the data-independent factor in a decomposition of the Neural Tangent Kernel and show the global structure of the Path Kernel can be computed efficiently. This Path Kernel decomposition separates the architectural effects from the data-dependent effects within the Neural Tangent Kernel, providing a means to predict the convergence dynamics of a network from its architecture alone. We analyze the use of this structure in approximating training and generalization performance of networks in the absence of data across a number of initialization pruning approaches. Observing the relationship between input data and paths and the relationship between the Path Kernel and its natural norm, we additionally propose two augmentations of the SynFlow algorithm for pruning at initialization.
Abstract（参考訳）: モデルのサイズと計算負荷を低減し、トレーニングダイナミクスと一般化性能に最小限の影響を与えながら、初期化時にニューラルネットワークパラメータを刈り取るための、最近の多くのアプローチが提案されている。それぞれのアプローチにはある程度のモチベーションがあるが、ネットワークトレーニングのダイナミクスに対するプルーニング手法の効果の厳密な分析や、両者の形式的関係は今のところほとんど注目されていない。 Neural Tangent Kernelによる最近の理論的近似を活用して、私たちは単一のパス中心のフレームワークで初期化時に引き裂くための多くの一般的なアプローチを統一します。ニューラルタンジェントカーネルの分解におけるデータ非依存因子としてパスカーネルを導入し,パスカーネルのグローバル構造を効率的に計算可能であることを示す。このパスカーネル分解は、アーキテクチャ効果とNeural Tangent Kernel内のデータ依存効果を分離し、ネットワークの収束ダイナミクスをアーキテクチャのみから予測する手段を提供する。多数の初期化プルーニングアプローチにまたがるデータの欠如におけるネットワークのトレーニングと一般化パフォーマンスの近似におけるこの構造の使用を分析します。入力データとパスの関係とパスカーネルとその自然ノルムとの関係を観察し、初期化時にプルーニングするためのSynFlowアルゴリズムの2つの拡張を提案します。