Fugu-MT 論文翻訳(概要): On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks

論文の概要: On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks

arxiv url: http://arxiv.org/abs/2001.05050v1
Date: Tue, 14 Jan 2020 21:11:19 GMT
ステータス: 処理完了
システム内更新日: 2023-01-11 12:05:45.512238
Title: On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks
Title（参考訳）: 反復型ニューラルネットワークプルーニング, 再初期化, マスクの類似性について
Authors: Michela Paganini, Jessica Forde
Abstract要約: 我々は, 共通の反復的打ち込み手法を用いて, 打ち抜きモデルの接続構造と学習力学の相違を解析した。重量安定性はアポサイトプルーニング技術によって自動的に達成できるという実証的証拠を示す。
参考スコア（独自算出の注目度）: 0.913755431537592
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We examine how recently documented, fundamental phenomena in deep learning models subject to pruning are affected by changes in the pruning procedure. Specifically, we analyze differences in the connectivity structure and learning dynamics of pruned models found through a set of common iterative pruning techniques, to address questions of uniqueness of trainable, high-sparsity sub-networks, and their dependence on the chosen pruning method. In convolutional layers, we document the emergence of structure induced by magnitude-based unstructured pruning in conjunction with weight rewinding that resembles the effects of structured pruning. We also show empirical evidence that weight stability can be automatically achieved through apposite pruning techniques.
Abstract（参考訳）: 本研究は,最近報告された深層学習モデルの基本現象が,刈り取り手順の変化によってどのように影響を受けるかを検討する。具体的には,訓練可能な高親和性サブネットワークの特異性,選択した刈り込み方法への依存に関する問題に対処するために,反復刈り込み手法を用いた刈り込みモデルの接続構造と学習ダイナミクスの違いを分析した。畳み込み層では, 等級に基づく非構造プルーニングによる構造物の出現と, 構造プルーニングの影響に類似した重みの巻き戻しについて述べる。また,アポサイトプルーニング技術により,重量安定性が自動的に達成できるという実証的証拠を示す。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Isomorphic Pruning for Vision Models [56.286064975443026]
構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
論文参考訳（メタデータ） (2024-07-05T16:14:53Z)
Structurally Prune Anything: Any Architecture, Any Framework, Any Time [84.6210631783801]
ニューラルネットワークのための汎用的な構造化プルーニングフレームワークであるStructurely Prune Anything (SPA)を紹介した。 SPAは、トレーニング前、微調整後のトレーニング後、または微調整なしでのトレーニング後、いつでもプランニングをサポートする。大規模な実験では、SPAは様々なアーキテクチャで最先端のプルーニング性能と競合することを示した。
論文参考訳（メタデータ） (2024-03-03T13:49:49Z)
LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
論文参考訳（メタデータ） (2024-02-17T04:16:30Z)
From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
論文参考訳（メタデータ） (2023-10-02T13:55:38Z)
Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文参考訳（メタデータ） (2023-04-25T15:53:45Z)
Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis [0.0]
異なるネットワークアーキテクチャおよびプルーニングシナリオにおけるL1非構造化プルーニング,フィッシャープルーニング,ランダムプルーニングを比較した。本稿では, バッチ型漁獲法(バッチ型漁獲法)と呼ばれる, 効率的な漁獲量の計算法を提案し, 評価する。
論文参考訳（メタデータ） (2023-03-26T21:46:34Z)
Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
論文参考訳（メタデータ） (2023-03-01T15:12:55Z)
Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
論文参考訳（メタデータ） (2022-05-07T09:03:32Z)
Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
論文参考訳（メタデータ） (2020-06-19T00:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。