Fugu-MT 論文翻訳(概要): Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution

論文の概要: Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution

arxiv url: http://arxiv.org/abs/2303.09650v1
Date: Thu, 16 Mar 2023 21:06:13 GMT
ステータス: 処理完了
システム内更新日: 2023-03-20 16:16:49.925687
Title: Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution
Title（参考訳）: 効率的な画像超解像のための反復的軟収縮学習
Authors: Jiamian Wang, Huan Wang, Yulun Zhang, Yun Fu, Zhiqiang Tao
Abstract要約: 超解像のためのネットワークプルーニングの可能性について検討し、既製のネットワーク設計を活用し、基礎となる計算オーバーヘッドを低減する。本稿では,各イテレーションにおけるランダム勾配ネットワークのスパース構造を最適化し,新しい反復型軟収縮率(ISS-P)法を提案する。提案したISS-Pは、最適化プロセスに適応したスパース構造を動的に学習し、より規則化されたスループットを得ることでスパースモデルのトレーニング性を維持することができる。
参考スコア（独自算出の注目度）: 77.9314333505662
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The field of image super-resolution (SR) has witnessed extensive neural network designs from CNN to transformer architectures. However, prevailing SR models suffer from prohibitive memory footprint and intensive computations, which limits further deployment on computational-constrained platforms. In this work, we investigate the potential of network pruning for super-resolution to take advantage of off-the-shelf network designs and reduce the underlying computational overhead. Two main challenges remain in applying pruning methods for SR. First, the widely-used filter pruning technique reflects limited granularity and restricted adaptability to diverse network structures. Second, existing pruning methods generally operate upon a pre-trained network for the sparse structure determination, failing to get rid of dense model training in the traditional SR paradigm. To address these challenges, we adopt unstructured pruning with sparse models directly trained from scratch. Specifically, we propose a novel Iterative Soft Shrinkage-Percentage (ISS-P) method by optimizing the sparse structure of a randomly initialized network at each iteration and tweaking unimportant weights with a small amount proportional to the magnitude scale on-the-fly. We observe that the proposed ISS-P could dynamically learn sparse structures adapting to the optimization process and preserve the sparse model's trainability by yielding a more regularized gradient throughput. Experiments on benchmark datasets demonstrate the effectiveness of the proposed ISS-P compared with state-of-the-art methods over diverse network architectures.
Abstract（参考訳）: 画像超解像(SR)の分野は、CNNからトランスフォーマーアーキテクチャまで幅広いニューラルネットワークの設計を目撃している。しかし、一般的なSRモデルはメモリフットプリントの禁止と集中的な計算に悩まされ、計算制約のあるプラットフォームへのさらなる展開が制限される。本研究では,市販のネットワーク設計を活用し,計算オーバーヘッドを削減するスーパーレゾリューションのためのネットワークプルーニングの可能性について検討する。 2つの主要な課題は、SRにプルーニング法を適用することである。第一に、広く使われているフィルタプルーニング技術は、様々なネットワーク構造に対する粒度と適応性の制限を反映している。第二に、既存のプルーニング法は、通常、スパース構造決定のための事前訓練されたネットワーク上で動作し、従来のSRパラダイムで密集したモデルトレーニングを排除できなかった。これらの課題に対処するために、スクラッチから直接訓練されたスパースモデルによる非構造化プルーニングを採用する。具体的には,各イテレーションにおけるランダム初期化ネットワークのスパース構造を最適化し,オンザフライ規模に比例する少ない量で重要でない重みを微調整することにより,新しい反復的ソフト・収縮・パーセンテージ(iss-p)法を提案する。提案する iss-p は最適化プロセスに適応したスパース構造を動的に学習し,より規則化された勾配スループットを与えることでスパースモデルのトレーサビリティを保った。ベンチマークデータセットにおける実験は、提案されたiss-pの有効性を、様々なネットワークアーキテクチャにおける最先端の手法と比較している。

関連論文リスト

Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文参考訳（メタデータ） (2024-06-06T23:19:57Z)
RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-11-17T11:06:29Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-09-26T22:22:30Z)
STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
論文参考訳（メタデータ） (2022-05-30T15:50:48Z)
DeepRLS: A Recurrent Network Architecture with Least Squares Implicit Layers for Non-blind Image Deconvolution [15.986942312624]
非盲点画像デコンボリューションの問題について検討する。本稿では,画像品質の非常に競争力のある復元結果をもたらす新しい再帰的ネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-10T13:16:51Z)
OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling Network [3.6683231417848283]
SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
論文参考訳（メタデータ） (2020-08-05T22:10:29Z)
Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文参考訳（メタデータ） (2020-05-20T11:11:47Z)
Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。