論文の概要: Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration
- arxiv url: http://arxiv.org/abs/2404.02154v1
- Date: Tue, 2 Apr 2024 17:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 15:20:18.253994
- Title: Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration
- Title(参考訳): 動的事前トレーニング - 効率的かつスケーラブルなオールインワン画像復元を目指して
- Authors: Akshay Dudhane, Omkar Thawakar, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan, Ming-Hsuan Yang,
- Abstract要約: オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
- 参考スコア(独自算出の注目度): 100.54419875604721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: All-in-one image restoration tackles different types of degradations with a unified model instead of having task-specific, non-generic models for each degradation. The requirement to tackle multiple degradations using the same model can lead to high-complexity designs with fixed configuration that lack the adaptability to more efficient alternatives. We propose DyNet, a dynamic family of networks designed in an encoder-decoder style for all-in-one image restoration tasks. Our DyNet can seamlessly switch between its bulkier and lightweight variants, thereby offering flexibility for efficient model deployment with a single round of training. This seamless switching is enabled by our weights-sharing mechanism, forming the core of our architecture and facilitating the reuse of initialized module weights. Further, to establish robust weights initialization, we introduce a dynamic pre-training strategy that trains variants of the proposed DyNet concurrently, thereby achieving a 50% reduction in GPU hours. To tackle the unavailability of large-scale dataset required in pre-training, we curate a high-quality, high-resolution image dataset named Million-IRD having 2M image samples. We validate our DyNet for image denoising, deraining, and dehazing in all-in-one setting, achieving state-of-the-art results with 31.34% reduction in GFlops and a 56.75% reduction in parameters compared to baseline models. The source codes and trained models are available at https://github.com/akshaydudhane16/DyNet.
- Abstract(参考訳): オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
同じモデルを用いて複数の劣化に対処する必要性は、より効率的な代替品への適応性に欠ける固定された構成の高複雑さ設計につながる可能性がある。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができ、単一のトレーニングで効率的なモデルデプロイメントのための柔軟性を提供します。
このシームレスな切り替えは、重み共有機構によって実現され、アーキテクチャのコアを形成し、初期化モジュール重みの再利用を容易にする。
さらに、ロバストウェイトの初期化を確立するために、提案したDyNetの変種を同時に訓練する動的事前学習戦略を導入し、GPU時間の50%削減を実現した。
事前トレーニングに必要な大規模データセットの有効性に対処するために,2Mイメージサンプルを持つMillid-IRDという高品質で高解像度の画像データセットをキュレートする。
我々はDyNetをオールインワン環境でのデノイング,デライニング,脱ヘイズに有効であり,GFlopsの31.34%,パラメーターの56.75%をベースラインモデルと比較した。
ソースコードとトレーニングされたモデルはhttps://github.com/akshaydudhane16/DyNetで公開されている。
関連論文リスト
- DyCE: Dynamic Configurable Exiting for Deep Learning Compression and
Scaling [1.9686770963118378]
DyCEは、設計上の考慮事項を互いに分離し、ベースモデルから切り離す動的早期退避フレームワークである。
これにより、ResNet152の23.5%、ImageNetのConvNextv2の25.9%の計算複雑性が大幅に削減され、精度は0.5%以下になった。
論文 参考訳(メタデータ) (2024-03-04T03:09:28Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳(メタデータ) (2022-12-10T15:57:38Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - One Size Fits All: Hypernetwork for Tunable Image Restoration [5.33024001730262]
我々は,複数のモデルの精度を向上し,異なるレベルの劣化に最適化した,可変画像復元のための新しい手法を提案する。
我々のモデルは、一定数のパラメータと様々な画像復元タスクで必要に応じて、最小限の劣化レベルを復元するように最適化することができる。
論文 参考訳(メタデータ) (2022-06-13T08:33:14Z) - A Unified Cascaded Encoder ASR Model for Dynamic Model Sizes [54.83802872236367]
本稿では,異なる配置シナリオのモデルを統一した動的カスケードエンコーダ自動音声認識(ASR)モデルを提案する。
提案モデルでは, ベースラインのカスケードエンコーダモデルと比較して30%小さく, 消費電力を33%削減する。
大、中、小のモデルを統一した3つのサイズモデルは、最小品質の損失で37%の総サイズ縮小を達成する。
論文 参考訳(メタデータ) (2022-04-13T04:15:51Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳(メタデータ) (2021-09-21T09:57:21Z) - Dynamic Proximal Unrolling Network for Compressive Sensing Imaging [29.00266254916676]
本稿では,DPUNetと呼ばれる動的近位アンローリングネットワークについて述べる。
具体的には、DPUNetは、勾配降下による埋め込み物理モデルと、学習された動的近位写像による画像のインポーティングの両方を活用できる。
実験結果から,提案したDPUNetは,サンプル比や雑音レベルの異なる複数のCSIモダリティを1つのモデルで効果的に処理できることがわかった。
論文 参考訳(メタデータ) (2021-07-23T03:04:44Z) - Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in
Image Classification [46.885260723836865]
ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。
画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。
我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
論文 参考訳(メタデータ) (2020-10-11T17:55:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。