論文の概要: DyRep: Bootstrapping Training with Dynamic Re-parameterization

• arxiv url: http://arxiv.org/abs/2203.12868v1
• Date: Thu, 24 Mar 2022 06:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 13:27:10.280659
• Title: DyRep: Bootstrapping Training with Dynamic Re-parameterization
• Title（参考訳）: DyRep:動的再パラメータ化によるブートストラップトレーニング
• Authors: Tao Huang, Shan You, Bohan Zhang, Yuxuan Du, Fei Wang, Chen Qian, Chang Xu
• Abstract要約: 本稿では、ネットワーク構造を動的に進化させるトレーニングプロセスにRepテクニックをエンコードする動的再パラメータ化(DyRep)手法を提案する。 DyRepは、ImageNet上でResNet-18の精度を2.04%改善し、ベースライン上でのランタイムを22%削減する。
• 参考スコア（独自算出の注目度）: 43.38971191276221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural re-parameterization (Rep) methods achieve noticeable improvements on simple VGG-style networks. Despite the prevalence, current Rep methods simply re-parameterize all operations into an augmented network, including those that rarely contribute to the model's performance. As such, the price to pay is an expensive computational overhead to manipulate these unnecessary behaviors. To eliminate the above caveats, we aim to bootstrap the training with minimal cost by devising a dynamic re-parameterization (DyRep) method, which encodes Rep technique into the training process that dynamically evolves the network structures. Concretely, our proposal adaptively finds the operations which contribute most to the loss in the network, and applies Rep to enhance their representational capacity. Besides, to suppress the noisy and redundant operations introduced by Rep, we devise a de-parameterization technique for a more compact re-parameterization. With this regard, DyRep is more efficient than Rep since it smoothly evolves the given network instead of constructing an over-parameterized network. Experimental results demonstrate our effectiveness, e.g., DyRep improves the accuracy of ResNet-18 by $2.04\%$ on ImageNet and reduces $22\%$ runtime over the baseline. Code is available at: https://github.com/hunto/DyRep.
• Abstract（参考訳）: 構造的再パラメータ化(Rep)手法は、単純なVGGスタイルのネットワークにおいて顕著な改善を実現する。 流行にもかかわらず、現在のRepメソッドは、モデルの性能にはほとんど貢献しないものを含む、すべての操作を拡張ネットワークに再パラメータ化する。 このような不必要な振る舞いを操作するのに、料金は高価な計算オーバーヘッドである。 本稿では,ネットワーク構造を動的に進化させるトレーニングプロセスにRepテクニックをエンコードする動的再パラメータ化(DyRep)手法を考案し,トレーニングを最小限のコストでブートストラップすることを目的とする。 具体的には,ネットワークの損失に最も寄与する操作を適応的に発見し,Repを適用して表現能力を向上させる。 さらに,Repが導入したノイズや冗長な操作を抑えるため,よりコンパクトな再パラメータ化のための非パラメータ化手法を考案した。 この点において、DyRepは、過パラメータネットワークを構築するのではなく、与えられたネットワークをスムーズに進化させるため、Repよりも効率的である。 例えば、DyRepはImageNet上でResNet-18の精度を$2.04\%改善し、ベースライン上でのランタイムを$2.2\%削減する。 コードは、https://github.com/hunto/DyRep.comで入手できる。

関連論文リスト

• Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
  計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。 これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
  論文  参考訳（メタデータ） (2024-08-22T17:35:18Z)
• Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration [63.37145159948982]
  GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労している。 本稿では,既存の修復モデルに対する自己協力戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:26:59Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve [29.86440019821837]
  変分オートエンコーダ(VAE)は、広範囲のアプリケーションで使用されるデータの潜在表現を学習するための強力なツールである。 本稿では,1回のトレーニングで様々な$beta$に対応する最適なパラメータを学習するための,計算効率のよいフレームワークであるMulti-Rate VAEを紹介する。
  論文  参考訳（メタデータ） (2022-12-07T19:02:34Z)
• RepSR: Training Efficient VGG-style Super-Resolution Networks with Structural Re-Parameterization and Batch Normalization [30.927648867624498]
  本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。 バッチ正規化(BN)は、トレーニングの非線形性をもたらし、最終的なパフォーマンスを改善するために重要である。 特に、我々はまず、通常通りミニバッチ統計を用いたSRネットワークを訓練し、その後、人口統計を使用するように切り替える。
  論文  参考訳（メタデータ） (2022-05-11T17:55:49Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。