論文の概要: On Iterative Neural Network Pruning, Reinitialization, and the
Similarity of Masks
- arxiv url: http://arxiv.org/abs/2001.05050v1
- Date: Tue, 14 Jan 2020 21:11:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 12:05:45.512238
- Title: On Iterative Neural Network Pruning, Reinitialization, and the
Similarity of Masks
- Title(参考訳): 反復型ニューラルネットワークプルーニング, 再初期化, マスクの類似性について
- Authors: Michela Paganini, Jessica Forde
- Abstract要約: 我々は, 共通の反復的打ち込み手法を用いて, 打ち抜きモデルの接続構造と学習力学の相違を解析した。
重量安定性はアポサイトプルーニング技術によって自動的に達成できるという実証的証拠を示す。
- 参考スコア(独自算出の注目度): 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine how recently documented, fundamental phenomena in deep learning
models subject to pruning are affected by changes in the pruning procedure.
Specifically, we analyze differences in the connectivity structure and learning
dynamics of pruned models found through a set of common iterative pruning
techniques, to address questions of uniqueness of trainable, high-sparsity
sub-networks, and their dependence on the chosen pruning method. In
convolutional layers, we document the emergence of structure induced by
magnitude-based unstructured pruning in conjunction with weight rewinding that
resembles the effects of structured pruning. We also show empirical evidence
that weight stability can be automatically achieved through apposite pruning
techniques.
- Abstract(参考訳): 本研究は,最近報告された深層学習モデルの基本現象が,刈り取り手順の変化によってどのように影響を受けるかを検討する。
具体的には,訓練可能な高親和性サブネットワークの特異性,選択した刈り込み方法への依存に関する問題に対処するために,反復刈り込み手法を用いた刈り込みモデルの接続構造と学習ダイナミクスの違いを分析した。
畳み込み層では, 等級に基づく非構造プルーニングによる構造物の出現と, 構造プルーニングの影響に類似した重みの巻き戻しについて述べる。
また,アポサイトプルーニング技術により,重量安定性が自動的に達成できるという実証的証拠を示す。
関連論文リスト
- Reawakening knowledge: Anticipatory recovery from catastrophic interference via structured training [24.719121340143978]
固定された繰り返しシーケンスで文書が循環的に提示される構造化された非IID環境で、ニューラルネットワークのトレーニングダイナミクスを探索する。
この環境では, LLMの興味深い, 注目すべき特性が連続的に見出され, 予測行動を示し, 文書の忘れ物から回復し, 再び遭遇する。
論文 参考訳(メタデータ) (2024-03-14T17:51:54Z) - LaCo: Large Language Model Pruning via Layer Collapse [63.973142426228016]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。
後部モデル層が先行層に崩壊する,textitLayer Collapse (LaCo) と呼ばれる簡潔な層分割法を提案する。
実験の結果,25~30%の刈り取り率で平均タスク性能が80%以上維持されていることがわかった。
論文 参考訳(メタデータ) (2024-02-17T04:16:30Z) - Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文 参考訳(メタデータ) (2023-04-25T15:53:45Z) - Exploring the Performance of Pruning Methods in Neural Networks: An
Empirical Study of the Lottery Ticket Hypothesis [0.0]
異なるネットワークアーキテクチャおよびプルーニングシナリオにおけるL1非構造化プルーニング,フィッシャープルーニング,ランダムプルーニングを比較した。
本稿では, バッチ型漁獲法(バッチ型漁獲法)と呼ばれる, 効率的な漁獲量の計算法を提案し, 評価する。
論文 参考訳(メタデータ) (2023-03-26T21:46:34Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。
本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。
本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
論文 参考訳(メタデータ) (2023-03-01T15:12:55Z) - Entangled Residual Mappings [59.02488598557491]
残余接続の構造を一般化するために、絡み合った残余写像を導入する。
絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。
絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-06-02T19:36:03Z) - Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep
Convolutional Neural Networks [9.293334856614628]
本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。
実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
論文 参考訳(メタデータ) (2022-05-07T09:03:32Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳(メタデータ) (2020-11-04T07:43:01Z) - Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。
線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。
より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
論文 参考訳(メタデータ) (2020-06-19T00:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。