論文の概要: S-Cyc: A Learning Rate Schedule for Iterative Pruning of ReLU-based Networks

• arxiv url: http://arxiv.org/abs/2110.08764v1
• Date: Sun, 17 Oct 2021 08:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 20:59:35.710047
• Title: S-Cyc: A Learning Rate Schedule for Iterative Pruning of ReLU-based Networks
• Title（参考訳）: S-Cyc:ReLUネットワークの反復実行のための学習率スケジュール
• Authors: Shiyu Liu, Chong Min John Tan, Mehul Motani
• Abstract要約: ReLUに基づくネットワークが反復的に切断されると、重み勾配の分布はより狭くなる傾向にある。 そこで我々は,S-Cyclical (S-Cyc) と呼ばれる新しいLRスケジュールを提案する。 S字形におけるLR上界(max_lr)を、ネットワークが反復的に切断されるにつれて徐々に増加させることにより、S字形は従来の環状LRスケジュールに適応する。
• 参考スコア（独自算出の注目度）: 37.64233393273063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore a new perspective on adapting the learning rate (LR) schedule to improve the performance of the ReLU-based network as it is iteratively pruned. Our work and contribution consist of four parts: (i) We find that, as the ReLU-based network is iteratively pruned, the distribution of weight gradients tends to become narrower. This leads to the finding that as the network becomes more sparse, a larger value of LR should be used to train the pruned network. (ii) Motivated by this finding, we propose a novel LR schedule, called S-Cyclical (S-Cyc) which adapts the conventional cyclical LR schedule by gradually increasing the LR upper bound (max_lr) in an S-shape as the network is iteratively pruned.We highlight that S-Cyc is a method agnostic LR schedule that applies to many iterative pruning methods. (iii) We evaluate the performance of the proposed S-Cyc and compare it to four LR schedule benchmarks. Our experimental results on three state-of-the-art networks (e.g., VGG-19, ResNet-20, ResNet-50) and two popular datasets (e.g., CIFAR-10, ImageNet-200) demonstrate that S-Cyc consistently outperforms the best performing benchmark with an improvement of 2.1% - 3.4%, without substantial increase in complexity. (iv) We evaluate S-Cyc against an oracle and show that S-Cyc achieves comparable performance to the oracle, which carefully tunes max_lr via grid search.
• Abstract（参考訳）: 本稿では,ReLUネットワークの性能向上のために,学習率(LR)スケジュールの適応に向けた新たな視点について検討する。 私たちの仕事と貢献は4つの部分からなる。 (i)ReLUベースのネットワークが反復的に切断されているため、重み勾配の分布はより狭くなる傾向にある。 これにより、ネットワークがスパース化するにつれて、プルーンドネットワークのトレーニングにLRのより大きな値を使用する必要があることが分かる。 そこで,本研究では,S字形におけるLR上界(max_lr)を段階的に増加させることにより,従来のLRスケジュールに適応するS字型LRスケジュール(S字型LRスケジュール)を提案する。 3)提案したS-Cycの性能を評価し,4つのLRスケジュールベンチマークと比較した。 3つの最先端ネットワーク(例えばvgg-19、resnet-20、resnet-50)と2つの人気のあるデータセット(例えばcifar-10、imagenet-200)の実験結果から、s-cycは2.1%から3.4%の改善で一貫して最高のパフォーマンスベンチマークを上回っていることが分かる。 (iv)私たちはS-Cycをオラクルに対して評価し、グリッドサーチによりmax_lrを注意深く調整するオラクルとS-Cycが同等の性能を発揮することを示す。

関連論文リスト

• Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration [63.37145159948982]
  GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労している。 本稿では,既存の修復モデルに対する自己協力戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:26:59Z)
• Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning [9.33753001494221]
  ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
  論文  参考訳（メタデータ） (2023-04-08T22:48:30Z)
• Optimizing Learning Rate Schedules for Iterative Pruning of Deep Neural Networks [25.84452767219292]
  SILOと呼ばれるネットワークプルーニングのための学習率(LR)スケジュールを提案する。 SILOは強い理論的動機を持ち、プルーニング中にLRを動的に調整し、一般化を改善する。 SILOは、Oracleが最適化した間隔内でmax_lrの値を正確に調整することができ、その結果、複雑さが著しく低いOracleとパフォーマンスが競争できることがわかった。
  論文  参考訳（メタデータ） (2022-12-09T14:39:50Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• A New Backbone for Hyperspectral Image Reconstruction [90.48427561874402]
  3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。 空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。 SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T16:20:51Z)
• Two-Stage Self-Supervised Cycle-Consistency Network for Reconstruction of Thin-Slice MR Images [62.4428833931443]
  太いスライス磁気共鳴(MR)画像は、しばしば冠状および矢状視で構造的にぼやけている。 深層学習は、これらの低分解能(LR)症例から高分解能(HR)薄膜MR画像を再構築する大きな可能性を示している。 MRスライス再構成のための2段階自己監督型サイクル一貫性ネットワーク(TSCNet)を提案する。
  論文  参考訳（メタデータ） (2021-06-29T13:29:18Z)
• Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
  サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。 再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
  論文  参考訳（メタデータ） (2020-12-18T07:17:30Z)
• MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
  学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。 本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。 また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
  論文  参考訳（メタデータ） (2020-07-29T01:18:58Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。