論文の概要: RepSR: Training Efficient VGG-style Super-Resolution Networks with
Structural Re-Parameterization and Batch Normalization
- arxiv url: http://arxiv.org/abs/2205.05671v1
- Date: Wed, 11 May 2022 17:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-12 18:54:40.385389
- Title: RepSR: Training Efficient VGG-style Super-Resolution Networks with
Structural Re-Parameterization and Batch Normalization
- Title（参考訳）: repsr: 構造再パラメータ化とバッチ正規化を用いた効率的なvgg型超解像ネットワークの訓練
- Authors: Xintao Wang, Chao Dong, Ying Shan
- Abstract要約: 本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。
バッチ正規化(BN)は、トレーニングの非線形性をもたらし、最終的なパフォーマンスを改善するために重要である。
特に、我々はまず、通常通りミニバッチ統計を用いたSRネットワークを訓練し、その後、人口統計を使用するように切り替える。
- 参考スコア（独自算出の注目度）: 30.927648867624498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores training efficient VGG-style super-resolution (SR)
networks with the structural re-parameterization technique. The general
pipeline of re-parameterization is to train networks with multi-branch topology
first, and then merge them into standard 3x3 convolutions for efficient
inference. In this work, we revisit those primary designs and investigate
essential components for re-parameterizing SR networks. First of all, we find
that batch normalization (BN) is important to bring training non-linearity and
improve the final performance. However, BN is typically ignored in SR, as it
usually degrades the performance and introduces unpleasant artifacts. We
carefully analyze the cause of BN issue and then propose a straightforward yet
effective solution. In particular, we first train SR networks with mini-batch
statistics as usual, and then switch to using population statistics at the
later training period. While we have successfully re-introduced BN into SR, we
further design a new re-parameterizable block tailored for SR, namely RepSR. It
consists of a clean residual path and two expand-and-squeeze convolution paths
with the modified BN. Extensive experiments demonstrate that our simple RepSR
is capable of achieving superior performance to previous SR re-parameterization
methods among different model sizes. In addition, our RepSR can achieve a
better trade-off between performance and actual running time (throughput) than
previous SR methods. Codes will be available at
https://github.com/TencentARC/RepSR.
- Abstract（参考訳）: 本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。
再パラメータ化の一般的なパイプラインは、まずマルチブランチトポロジーを持つネットワークをトレーニングし、効率的な推論のためにそれらを標準の3x3畳み込みにマージする。
本研究では,これらの設計を再検討し,SRネットワークの再パラメータ化に必要なコンポーネントについて検討する。
まず、バッチ正規化(BN)は、トレーニングを非線形にし、最終的なパフォーマンスを改善するために重要であることに気付きます。
しかし、BNは通常SRでは無視され、パフォーマンスを低下させ、不快な成果物を導入する。
BN問題の原因を慎重に分析し、単純で効果的な解決策を提案する。
特に,通常通りミニバッチ統計を持つsrネットワークをトレーニングし,その後,トレーニング期間中に人口統計を使用するように切り替えた。
我々は BN を SR に再導入することに成功したが、さらに SR に適した再パラメータ化可能なブロック、すなわち RepSR を設計した。
クリーンな残留経路と、改良されたBNと2つの拡張およびスクイーズ畳み込み経路で構成されている。
広範な実験により,従来のsr再パラメータ化法よりも優れた性能を,異なるモデルサイズで達成できることが実証された。
さらに、我々のRepSRは、従来のSR手法よりもパフォーマンスと実際の実行時間(スループット)のトレードオフが優れている。
コードはhttps://github.com/TencentARC/RepSR.comから入手できる。
関連論文リスト
- Learning effective pruning at initialization from iterative pruning [15.842658282636876]
本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。
提案手法は, 既存手法よりも高スパース性設定で優れる。
ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-27T03:17:52Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。
本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。
我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
論文 参考訳（メタデータ） (2024-05-29T06:53:18Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Learning Detail-Structure Alternative Optimization for Blind
Super-Resolution [69.11604249813304]
そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。
DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。
本手法は既存の手法に対して最先端の手法を実現する。
論文 参考訳（メタデータ） (2022-12-03T14:44:17Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
本研究では,Residual Local Feature Network (RLFN)を提案する。
主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。
さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
論文 参考訳（メタデータ） (2022-05-16T08:46:34Z) - Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。
プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。
そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-25T05:30:26Z) - Using UNet and PSPNet to explore the reusability principle of CNN
parameters [5.623232537411766]
深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。
平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。
畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
論文 参考訳（メタデータ） (2020-08-08T01:51:08Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。