Fugu-MT 論文翻訳(概要): Reproducibility Study: Comparing Rewinding and Fine-tuning in Neural Network Pruning

論文の概要: Reproducibility Study: Comparing Rewinding and Fine-tuning in Neural Network Pruning

arxiv url: http://arxiv.org/abs/2109.09670v2
Date: Tue, 21 Sep 2021 06:56:56 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 10:52:08.526236
Title: Reproducibility Study: Comparing Rewinding and Fine-tuning in Neural Network Pruning
Title（参考訳）: 再現性研究:ニューラルネットワークの刈り取りにおける巻き戻しと微調整の比較
Authors: Szymon Mikler (Uniwersytet Wroc{\l}awski)
Abstract要約: 我々は3つのアプローチの成果を再現するが、そのアプローチの検証、学習率の巻き戻しに重点を置いている。新たな実験により,大規模なアーキテクチャにおいて,学習率の巻き戻しの限界が発見され,プルーニング結果が悪化する可能性が示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scope of reproducibility: We are reproducing Comparing Rewinding and Fine-tuning in Neural Networks from arXiv:2003.02389. In this work the authors compare three different approaches to retraining neural networks after pruning: 1) fine-tuning, 2) rewinding weights as in arXiv:1803.03635 and 3) a new, original method involving learning rate rewinding, building upon Lottery Ticket Hypothesis. We reproduce the results of all three approaches, but we focus on verifying their approach, learning rate rewinding, since it is newly proposed and is described as a universal alternative to other methods. We used CIFAR10 for most reproductions along with additional experiments on the larger CIFAR100, which extends the results originally provided by the authors. We have also extended the list of tested network architectures to include Wide ResNets. The new experiments led us to discover the limitations of learning rate rewinding which can worsen pruning results on large architectures. Results: We were able to reproduce the exact results reported by the authors in all originally reported scenarios. However, extended results on larger Wide Residual Networks have demonstrated the limitations of the newly proposed learning rate rewinding -- we observed a previously unreported accuracy degradation for low sparsity ranges. Nevertheless, the general conclusion of the paper still holds and was indeed reproduced.
Abstract（参考訳）: 再現性のスコープ: arXiv:2003.02389のニューラルネットワークにおける再巻き戻しと微調整の比較を再現する。この研究では、プルーニング後にニューラルネットワークを再トレーニングするための3つの異なるアプローチを比較した。 1)微調整。 2 arXiv:1803.03635及び 3)Lottery Ticket仮説に基づく学習率の巻き戻しを含む,新たなオリジナル手法。我々はこれら3つの手法の成果を再現するが,本手法は新たに提案され,他の手法に対する普遍的な代替手段として記述されているため,そのアプローチの検証,学習率の逆転に重点を置いている。我々はCIFAR10をほとんどの複製に使用し、CIFAR100のさらなる実験を行った。また、テスト対象のネットワークアーキテクチャのリストを拡張して、Wide ResNetsを含むようにしました。新たな実験により,大規模なアーキテクチャにおいて,学習率の巻き戻しの限界を見出すことができた。結果: 著者が報告した正確な結果を, 当初報告したすべてのシナリオで再現することができた。しかし、より大きなワイド残留ネットワークにおける拡張結果は、新しく提案された学習率の巻き戻しの限界を実証している。しかし、この論文の一般的な結論はまだ保たれており、実際に再現された。

関連論文リスト

Learning effective pruning at initialization from iterative pruning [15.842658282636876]
本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。提案手法は, 既存手法よりも高スパース性設定で優れる。ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
論文参考訳（メタデータ） (2024-08-27T03:17:52Z)
RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
論文参考訳（メタデータ） (2024-05-23T11:00:19Z)
Efficient Curriculum based Continual Learning with Informative Subset Selection for Remote Sensing Scene Classification [27.456319725214474]
光リモートセンシング(RS)画像からランドカバー分類の領域におけるクラスインクリメンタルラーニング(CIL)の問題に取り組む。本稿では,最近のリプレイメモリ方式の成功に触発された新しいCILフレームワークを提案する。
論文参考訳（メタデータ） (2023-09-03T01:25:40Z)
ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval [68.7008281316644]
ReDiは学習不要なRetrievalベースの拡散サンプリングフレームワークである。 ReDi はモデル推論効率を 2 倍高速化することを示した。
論文参考訳（メタデータ） (2023-02-05T03:01:28Z)
Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文参考訳（メタデータ） (2023-01-01T03:10:45Z)
Towards Regression-Free Neural Networks for Diverse Compute Platforms [50.64489250972764]
負のフリップを小さくする高精度モデル群を設計するために,REG-NAS(Regression constrained Neural Architecture Search)を導入する。 REG-NASは2つのコンポーネントから構成される: 1) より大きなモデルでより小さなモデルの全重みを収容できる新しいアーキテクチャ制約により、重量共有を最大化する。我々は,regnasが3つの一般的なアーキテクチャ検索空間において,負のフリップが少なく,望ましいアーキテクチャを見つけることができたことを実証した。
論文参考訳（メタデータ） (2022-09-27T23:19:16Z)
Spectral Pruning for Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
論文参考訳（メタデータ） (2021-05-23T00:30:59Z)
Network Pruning That Matters: A Case Study on Retraining Variants [11.503165599245467]
本研究では,異なる再訓練機構の有効性について検討する。ランダムに刈り取られたネットワークは、系統的に刈り取られたネットワークよりも優れた性能を達成できるという、直観に反する現象を示す。
論文参考訳（メタデータ） (2021-05-07T12:03:24Z)
Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文参考訳（メタデータ） (2020-03-18T17:02:10Z)
Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
論文参考訳（メタデータ） (2020-02-19T16:00:47Z)
Lipreading using Temporal Convolutional Networks [57.41253104365274]
現在の単語認識モデルは,残差ネットワークと双方向Gated Recurrent Unit層で構成されている。このモデルの限界に対処し、その性能をさらに向上させる変更を提案する。提案モデルでは,これらのデータセットにおいてそれぞれ1.2%と3.2%の絶対的な改善が得られた。
論文参考訳（メタデータ） (2020-01-23T17:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。