論文の概要: Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy

• arxiv url: http://arxiv.org/abs/2103.03014v1
• Date: Thu, 4 Mar 2021 13:22:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:11:49.212572
• Title: Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy
• Title（参考訳）: Pruning in Pruning: テスト精度を超えたPruning Neural Networkの効果
• Authors: Lucas Liebenwein, Cenk Baykal, Brandon Carter, David Gifford, Daniela Rus
• Abstract要約: ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
• 参考スコア（独自算出の注目度）: 42.15969584135412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning is a popular technique used to reduce the inference costs of modern, potentially overparameterized, networks. Starting from a pre-trained network, the process is as follows: remove redundant parameters, retrain, and repeat while maintaining the same test accuracy. The result is a model that is a fraction of the size of the original with comparable predictive performance (test accuracy). Here, we reassess and evaluate whether the use of test accuracy alone in the terminating condition is sufficient to ensure that the resulting model performs well across a wide spectrum of "harder" metrics such as generalization to out-of-distribution data and resilience to noise. Across evaluations on varying architectures and data sets, we find that pruned networks effectively approximate the unpruned model, however, the prune ratio at which pruned networks achieve commensurate performance varies significantly across tasks. These results call into question the extent of \emph{genuine} overparameterization in deep learning and raise concerns about the practicability of deploying pruned networks, specifically in the context of safety-critical systems, unless they are widely evaluated beyond test accuracy to reliably predict their performance. Our code is available at https://github.com/lucaslie/torchprune.
• Abstract（参考訳）: ニューラルネットワークプルーニングは、現代的、潜在的に過パラメータ化された、ネットワークの推論コストを削減するために使用される一般的な技術です。 事前訓練されたネットワークから始まるプロセスは、冗長なパラメータを削除し、再トレーニングし、同じテスト精度を維持しながら繰り返します。 結果は、予測性能(テスト精度)に匹敵するオリジナルのサイズのごく一部であるモデルである。 ここでは,テスト精度のみを終了条件で使用することが十分であるかどうかを再評価し,結果のモデルが,分布外データへの一般化やノイズに対するレジリエンスといった,幅広い"ハード"指標で良好に動作することを保証する。 さまざまなアーキテクチャやデータセットの評価を横断すると、prunedネットワークは非prunedモデルを効果的に近似するが、prunedネットワークが同等のパフォーマンスを達成するプルーン比率はタスク間で大きく異なる。 これらの結果は、深層学習における \emph{genuine} オーバーパラメータ化の程度を疑問視し、特に安全性クリティカルなシステムの文脈において、pruned ネットワークをデプロイすることの実践可能性について懸念を喚起する。 私たちのコードはhttps://github.com/lucaslie/torchpruneで利用可能です。

関連論文リスト

• Quantifying lottery tickets under label noise: accuracy, calibration, and complexity [6.232071870655069]
  ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。 スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
  論文  参考訳（メタデータ） (2023-06-21T11:35:59Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Improving Video Instance Segmentation by Light-weight Temporal Uncertainty Estimates [11.580916951856256]
  本稿では,インスタンスセグメンテーションネットワークの不確かさをモデル化するための時間動的手法を提案する。 本稿では,偽陽性の検出と予測品質の推定に本手法を適用した。 提案手法は、容易に訓練されたニューラルネットワークとビデオシーケンス入力のみを必要とする。
  論文  参考訳（メタデータ） (2020-12-14T13:39:05Z)
• A Partial Regularization Method for Network Compression [0.0]
  本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。 実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2020-09-03T00:38:27Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。