Fugu-MT 論文翻訳(概要): Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution

論文の概要: Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution

arxiv url: http://arxiv.org/abs/2303.09650v2
Date: Fri, 18 Aug 2023 01:52:34 GMT
ステータス: 処理完了
システム内更新日: 2023-08-22 00:39:06.980855
Title: Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution
Title（参考訳）: 効率的な画像超解像のための反復的軟収縮学習
Authors: Jiamian Wang, Huan Wang, Yulun Zhang, Yun Fu, Zhiqiang Tao
Abstract要約: 画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
参考スコア（独自算出の注目度）: 91.3781512926942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Image super-resolution (SR) has witnessed extensive neural network designs from CNN to transformer architectures. However, prevailing SR models suffer from prohibitive memory footprint and intensive computations, which limits further deployment on edge devices. This work investigates the potential of network pruning for super-resolution to take advantage of off-the-shelf network designs and reduce the underlying computational overhead. Two main challenges remain in applying pruning methods for SR. First, the widely-used filter pruning technique reflects limited granularity and restricted adaptability to diverse network structures. Second, existing pruning methods generally operate upon a pre-trained network for the sparse structure determination, hard to get rid of dense model training in the traditional SR paradigm. To address these challenges, we adopt unstructured pruning with sparse models directly trained from scratch. Specifically, we propose a novel Iterative Soft Shrinkage-Percentage (ISS-P) method by optimizing the sparse structure of a randomly initialized network at each iteration and tweaking unimportant weights with a small amount proportional to the magnitude scale on-the-fly. We observe that the proposed ISS-P can dynamically learn sparse structures adapting to the optimization process and preserve the sparse model's trainability by yielding a more regularized gradient throughput. Experiments on benchmark datasets demonstrate the effectiveness of the proposed ISS-P over diverse network architectures. Code is available at https://github.com/Jiamian-Wang/Iterative-Soft-Shrinkage-SR
Abstract（参考訳）: 画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。しかし、一般的なsrモデルはメモリフットプリントの制限と集中的な計算に苦しむため、エッジデバイスへのさらなるデプロイは制限される。本研究は,市販のネットワーク設計を活用し,計算オーバーヘッドを削減するスーパーレゾリューションのためのネットワークプルーニングの可能性を検討する。 2つの主要な課題は、SRにプルーニング法を適用することである。第一に、広く使われているフィルタプルーニング技術は、様々なネットワーク構造に対する粒度と適応性の制限を反映している。第二に、既存のプルーニング法は、通常、スパース構造決定のための事前訓練されたネットワーク上で動作し、従来のSRパラダイムにおける密集モデルトレーニングの除去が困難である。これらの課題に対処するために、スクラッチから直接訓練されたスパースモデルによる非構造化プルーニングを採用する。具体的には,各イテレーションにおけるランダム初期化ネットワークのスパース構造を最適化し,オンザフライ規模に比例する少ない量で重要でない重みを微調整することにより,新しい反復的ソフト・収縮・パーセンテージ(iss-p)法を提案する。提案する iss-p は最適化プロセスに適応したスパース構造を動的に学習し,より規則化された勾配スループットを与えることでスパースモデルのトレーサビリティを保った。ベンチマークデータセットに関する実験は、様々なネットワークアーキテクチャに対するiss-pの有効性を実証している。コードはhttps://github.com/Jiamian-Wang/Iterative-Soft-Shrinkage-SRで公開されている。

関連論文リスト

Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文参考訳（メタデータ） (2024-06-06T23:19:57Z)
RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-11-17T11:06:29Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-09-26T22:22:30Z)
STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
論文参考訳（メタデータ） (2022-05-30T15:50:48Z)
DeepRLS: A Recurrent Network Architecture with Least Squares Implicit Layers for Non-blind Image Deconvolution [15.986942312624]
非盲点画像デコンボリューションの問題について検討する。本稿では,画像品質の非常に競争力のある復元結果をもたらす新しい再帰的ネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-10T13:16:51Z)
OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling Network [3.6683231417848283]
SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
論文参考訳（メタデータ） (2020-08-05T22:10:29Z)
Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文参考訳（メタデータ） (2020-05-20T11:11:47Z)
Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。