論文の概要: DyRep: Bootstrapping Training with Dynamic Re-parameterization
- arxiv url: http://arxiv.org/abs/2203.12868v1
- Date: Thu, 24 Mar 2022 06:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 13:27:10.280659
- Title: DyRep: Bootstrapping Training with Dynamic Re-parameterization
- Title(参考訳): DyRep:動的再パラメータ化によるブートストラップトレーニング
- Authors: Tao Huang, Shan You, Bohan Zhang, Yuxuan Du, Fei Wang, Chen Qian,
Chang Xu
- Abstract要約: 本稿では、ネットワーク構造を動的に進化させるトレーニングプロセスにRepテクニックをエンコードする動的再パラメータ化(DyRep)手法を提案する。
DyRepは、ImageNet上でResNet-18の精度を2.04%改善し、ベースライン上でのランタイムを22%削減する。
- 参考スコア(独自算出の注目度): 43.38971191276221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structural re-parameterization (Rep) methods achieve noticeable improvements
on simple VGG-style networks. Despite the prevalence, current Rep methods
simply re-parameterize all operations into an augmented network, including
those that rarely contribute to the model's performance. As such, the price to
pay is an expensive computational overhead to manipulate these unnecessary
behaviors. To eliminate the above caveats, we aim to bootstrap the training
with minimal cost by devising a dynamic re-parameterization (DyRep) method,
which encodes Rep technique into the training process that dynamically evolves
the network structures. Concretely, our proposal adaptively finds the
operations which contribute most to the loss in the network, and applies Rep to
enhance their representational capacity. Besides, to suppress the noisy and
redundant operations introduced by Rep, we devise a de-parameterization
technique for a more compact re-parameterization. With this regard, DyRep is
more efficient than Rep since it smoothly evolves the given network instead of
constructing an over-parameterized network. Experimental results demonstrate
our effectiveness, e.g., DyRep improves the accuracy of ResNet-18 by $2.04\%$
on ImageNet and reduces $22\%$ runtime over the baseline. Code is available at:
https://github.com/hunto/DyRep.
- Abstract(参考訳): 構造的再パラメータ化(Rep)手法は、単純なVGGスタイルのネットワークにおいて顕著な改善を実現する。
流行にもかかわらず、現在のRepメソッドは、モデルの性能にはほとんど貢献しないものを含む、すべての操作を拡張ネットワークに再パラメータ化する。
このような不必要な振る舞いを操作するのに、料金は高価な計算オーバーヘッドである。
本稿では,ネットワーク構造を動的に進化させるトレーニングプロセスにRepテクニックをエンコードする動的再パラメータ化(DyRep)手法を考案し,トレーニングを最小限のコストでブートストラップすることを目的とする。
具体的には,ネットワークの損失に最も寄与する操作を適応的に発見し,Repを適用して表現能力を向上させる。
さらに,Repが導入したノイズや冗長な操作を抑えるため,よりコンパクトな再パラメータ化のための非パラメータ化手法を考案した。
この点において、DyRepは、過パラメータネットワークを構築するのではなく、与えられたネットワークをスムーズに進化させるため、Repよりも効率的である。
例えば、DyRepはImageNet上でResNet-18の精度を$2.04\%改善し、ベースライン上でのランタイムを$2.2\%削減する。
コードは、https://github.com/hunto/DyRep.comで入手できる。
関連論文リスト
- Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳(メタデータ) (2023-02-17T09:37:17Z) - Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve [29.86440019821837]
変分オートエンコーダ(VAE)は、広範囲のアプリケーションで使用されるデータの潜在表現を学習するための強力なツールである。
本稿では,1回のトレーニングで様々な$beta$に対応する最適なパラメータを学習するための,計算効率のよいフレームワークであるMulti-Rate VAEを紹介する。
論文 参考訳(メタデータ) (2022-12-07T19:02:34Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳(メタデータ) (2022-05-26T19:01:19Z) - RepSR: Training Efficient VGG-style Super-Resolution Networks with
Structural Re-Parameterization and Batch Normalization [30.927648867624498]
本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。
バッチ正規化(BN)は、トレーニングの非線形性をもたらし、最終的なパフォーマンスを改善するために重要である。
特に、我々はまず、通常通りミニバッチ統計を用いたSRネットワークを訓練し、その後、人口統計を使用するように切り替える。
論文 参考訳(メタデータ) (2022-05-11T17:55:49Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳(メタデータ) (2022-04-02T09:50:19Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T17:49:08Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳(メタデータ) (2021-03-04T08:14:10Z) - ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。
記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。
私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
論文 参考訳(メタデータ) (2020-07-07T07:56:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。