論文の概要: Getting Away with More Network Pruning: From Sparsity to Geometry and Linear Regions

• arxiv url: http://arxiv.org/abs/2301.07966v1
• Date: Thu, 19 Jan 2023 09:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 15:27:21.643664
• Title: Getting Away with More Network Pruning: From Sparsity to Geometry and Linear Regions
• Title（参考訳）: ネットワークのプルーニングをなくす - スパーシティから幾何学と線形領域へ
• Authors: Junyang Cai, Khai-Nguyen Nguyen, Nishant Shrestha, Aidan Good, Ruisen Tu, Xin Yu, Shandian Zhe, Thiago Serra
• Abstract要約: 線形領域の数に空間がどう影響するかを示し,提案した最大値の有界値を示す。 境界を最大化するためにレイヤ間の間隔を選択することは、すべてのレイヤで同じ間隔でプルーニングするのに比べて、精度を非常に向上させることがわかりました。
• 参考スコア（独自算出の注目度）: 24.145261729258195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One surprising trait of neural networks is the extent to which their connections can be pruned with little to no effect on accuracy. But when we cross a critical level of parameter sparsity, pruning any further leads to a sudden drop in accuracy. This drop plausibly reflects a loss in model complexity, which we aim to avoid. In this work, we explore how sparsity also affects the geometry of the linear regions defined by a neural network, and consequently reduces the expected maximum number of linear regions based on the architecture. We observe that pruning affects accuracy similarly to how sparsity affects the number of linear regions and our proposed bound for the maximum number. Conversely, we find out that selecting the sparsity across layers to maximize our bound very often improves accuracy in comparison to pruning as much with the same sparsity in all layers, thereby providing us guidance on where to prune.
• Abstract（参考訳）: ニューラルネットワークの驚くべき特徴の1つは、その接続が精度にほとんどか全く影響を与えない程度に刈り取ることができることである。 しかし、パラメータ空間の臨界レベルを越えると、それ以上のプルーニングが突然精度を低下させます。 この落とし穴は、避けたいモデル複雑さの損失を少なくとも反映しています。 本研究では,ニューラルネットワークによって定義される線形領域の幾何学にスパーシティがどう影響するかを考察し,その結果,そのアーキテクチャに基づく線形領域の最大数を減少させる。 プルーニングは,線形領域の数や提案する最大値のバウンドにスパルサリティがどう影響するかと同様に,精度に影響を及ぼすことを観察した。 逆に、境界を最大化するために層間のスパース性を選択することで、すべての層で同じスパース性を持つプルーニングと比較して、精度が極めて向上することが分かりました。

関連論文リスト

• Arbitrary-Scale Point Cloud Upsampling by Voxel-Based Network with Latent Geometric-Consistent Learning [52.825441454264585]
  Voxel-based Network (textbfPU-VoxelNet) を用いた任意のスケールのクラウド・アップサンプリング・フレームワークを提案する。 ボクセル表現から継承された完全性と規則性により、ボクセルベースのネットワークは3次元表面を近似する事前定義されたグリッド空間を提供することができる。 密度誘導グリッド再サンプリング法を開発し、高忠実度点を生成するとともに、サンプリング出力を効果的に回避する。
  論文  参考訳（メタデータ） (2024-03-08T07:31:14Z)
• Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood [86.70040320522432]
  ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを削減できる有望な方法である。 Sparsifiability via the Marginal chance (SpaM) a pruning framework。 当社のフレームワークの有効性を,特に高頻度で実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:48:13Z)
• How Sparse Can We Prune A Deep Network: A Fundamental Limit Viewpoint [3.4396642896512977]
  ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減するために一般的に使用される尺度である。 我々は、急激な位相遷移点、すなわちプルーニング比の基本極限を特徴づけるために、第一原理的アプローチをとる。 我々は,大規模かつ非正のヘッセン行列を推定する際の課題に対処するために,効率的な対策を提供する。
  論文  参考訳（メタデータ） (2023-06-09T12:39:41Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer [18.06634056613645]
  2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。 流下における任意の出発点を持つ軌道の収束点を記述する。 我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
  論文  参考訳（メタデータ） (2022-01-08T04:44:59Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity [0.0]
  ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。 ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。 我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
  論文  参考訳（メタデータ） (2021-07-05T22:36:57Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
  本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。 我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。 一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
  論文  参考訳（メタデータ） (2020-03-27T04:59:34Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。