論文の概要: Attentive Fine-Grained Structured Sparsity for Image Restoration

• arxiv url: http://arxiv.org/abs/2204.12266v3
• Date: Tue, 08 Oct 2024 02:39:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:59.293309
• Title: Attentive Fine-Grained Structured Sparsity for Image Restoration
• Title（参考訳）: 微細結晶粒微細化による画像復元
• Authors: Junghun Oh, Heewon Kim, Seungjun Nah, Cheeun Hong, Jonghyun Choi, Kyoung Mu Lee,
• Abstract要約: N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
• 参考スコア（独自算出の注目度）: 63.35887911506264
• License:
• Abstract: Image restoration tasks have witnessed great performance improvement in recent years by developing large deep models. Despite the outstanding performance, the heavy computation demanded by the deep models has restricted the application of image restoration. To lift the restriction, it is required to reduce the size of the networks while maintaining accuracy. Recently, N:M structured pruning has appeared as one of the effective and practical pruning approaches for making the model efficient with the accuracy constraint. However, it fails to account for different computational complexities and performance requirements for different layers of an image restoration network. To further optimize the trade-off between the efficiency and the restoration accuracy, we propose a novel pruning method that determines the pruning ratio for N:M structured sparsity at each layer. Extensive experimental results on super-resolution and deblurring tasks demonstrate the efficacy of our method which outperforms previous pruning methods significantly. PyTorch implementation for the proposed methods is available at https://github.com/JungHunOh/SLS_CVPR2022.
• Abstract（参考訳）: 画像復元タスクは、近年、大きな深層モデルを開発することで、大きなパフォーマンス向上を目の当たりにしている。 優れた性能にもかかわらず、深層モデルで要求される重い計算は、画像復元の適用を制限している。 制限を解除するためには、精度を維持しながらネットワークのサイズを小さくする必要がある。 近年、N:M構造化プルーニングは、精度の制約でモデルを効率的にするための効果的かつ実用的なプルーニング手法の1つとして現れている。 しかし、画像復元ネットワークの異なる層に対して異なる計算複雑性と性能要求を考慮できない。 効率と復元精度のトレードオフをさらに最適化するために, 各層におけるN:M構造空間の刈り取り比を決定する新しい刈り取り法を提案する。 超分解能および脱臭性タスクの広範囲な実験結果から,従来の刈り取り法よりも優れていた方法の有効性が示された。 提案されたメソッドのPyTorch実装はhttps://github.com/JungHunOh/SLS_CVPR2022で公開されている。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration [30.966005373669027]
  本稿では、RePNPと呼ばれる新しい深層強化学習(DRL)フレームワークを提案する。 その結果,提案したRePNPは観測モデルに対して頑健であることがわかった。 RePNPと呼ばれるスキーム。 RePNPはモデルパラメータの少ないモデル偏差に基づくより良い結果を得る。
  論文  参考訳（メタデータ） (2022-07-25T10:56:10Z)
• Reconstruction Task Finds Universal Winning Tickets [24.52604301906691]
  十分に訓練されたニューラルネットワークは、コンピュータビジョンシステムにおいて有望な精度と効率のトレードオフを実現するのに有効である。 既存のプルーニングアルゴリズムのほとんどは、ソースドメインで定義された分類タスクのみに焦点を当てている。 本稿では,画像レベルのプレトレインタスクは,下流の様々なタスクに対して,モデルを刈り取ることができないことを示す。
  論文  参考訳（メタデータ） (2022-02-23T13:04:32Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Compression of descriptor models for mobile applications [26.498907514590165]
  深層ニューラルネットワークにおける計算コスト,モデルサイズ,マッチング精度のトレードオフを評価する。 我々は、深度的に分離可能な層を用いることで、学習重量の顕著な冗長性を観察する。 本稿では,標準的な畳み込みと奥行き分離可能な畳み込みを補間する手段を提供する,畳み込み-Depthwise-Pointwise(CDP)層を提案する。
  論文  参考訳（メタデータ） (2020-01-09T17:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。