論文の概要: Fast and High-Quality Image Denoising via Malleable Convolutions

• arxiv url: http://arxiv.org/abs/2201.00392v2
• Date: Tue, 4 Jan 2022 04:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 11:25:35.417867
• Title: Fast and High-Quality Image Denoising via Malleable Convolutions
• Title（参考訳）: 可搬性畳み込みによる高速高画質画像の雑音化
• Authors: Yifan Jiang, Bart Wronski, Ben Mildenhall, Jon Barron, Zhangyang Wang, Tianfan Xue
• Abstract要約: 動的畳み込みの効率的な変種として、Malleable Convolution (MalleConv)を提案する。 以前の作品とは異なり、MalleConvは入力から空間的に変化するカーネルのより小さなセットを生成する。 また、MalleNetという造語であるMalleConvを用いて、効率的なdenoisingネットワークを構築した。
• 参考スコア（独自算出の注目度）: 72.18723834537494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many image processing networks apply a single set of static convolutional kernels across the entire input image, which is sub-optimal for natural images, as they often consist of heterogeneous visual patterns. Recent works in classification, segmentation, and image restoration have demonstrated that dynamic kernels outperform static kernels at modeling local image statistics. However, these works often adopt per-pixel convolution kernels, which introduce high memory and computation costs. To achieve spatial-varying processing without significant overhead, we present Malleable Convolution (MalleConv), as an efficient variant of dynamic convolution. The weights of MalleConv are dynamically produced by an efficient predictor network capable of generating content-dependent outputs at specific spatial locations. Unlike previous works, MalleConv generates a much smaller set of spatially-varying kernels from input, which enlarges the network's receptive field and significantly reduces computational and memory costs. These kernels are then applied to a full-resolution feature map through an efficient slice-and-conv operator with minimum memory overhead. We further build an efficient denoising network using MalleConv, coined as MalleNet. It achieves high quality results without very deep architecture, e.g., reaching 8.91x faster speed compared to the best performed denoising algorithms (SwinIR), while maintaining similar performance. We also show that a single MalleConv added to a standard convolution-based backbone can contribute significantly to reducing the computational cost or boosting image quality at a similar cost. Project page: https://yifanjiang.net/MalleConv.html
• Abstract（参考訳）: 多くの画像処理ネットワークは入力画像全体にわたって1組の静的畳み込みカーネルを適用している。 近年の分類、セグメント化、画像復元の研究は、局所的な画像統計のモデリングにおいて、動的カーネルが静的カーネルより優れていることを示した。 しかし、これらの作品はしばしばピクセル単位の畳み込みカーネルを採用し、高いメモリと計算コストをもたらす。 空間変動処理を実現するために,動的畳み込みの効率的な変種としてmaleable convolution (malleconv)を提案する。 malleconvの重みは、特定の空間でコンテンツ依存の出力を生成できる効率的な予測ネットワークによって動的に生成される。 以前の作品とは異なり、mareconvは入力から空間的に変動するカーネルの集合を生成し、ネットワークの受容野を拡大し、計算コストとメモリコストを大幅に削減する。 これらのカーネルは、メモリオーバーヘッドを最小限にした効率的なスライス・アンド・コンブ演算子を通じて、フル解像度の機能マップに適用される。 さらに,mallenet と呼ばれる malleconv を用いた効率的なデノージングネットワークを構築する。 非常に深いアーキテクチャを使わずに高品質な結果を達成し、例えば、最高の性能の復調アルゴリズム(SwinIR)と比較して8.91倍高速に到達し、同様の性能を維持している。 また、標準的な畳み込みベースのバックボーンに1つのMalleConvを追加することで、計算コストの削減や画像品質の向上に大きく貢献することを示す。 プロジェクトページ:https://yifanjiang.net/MalleConv.html

関連論文リスト

• Serpent: Scalable and Efficient Image Restoration via Multi-scale Structured State Space Models [22.702352459581434]
  サーペントは高解像度画像復元のための効率的なアーキテクチャである。 本稿では,Serpentが最先端技術に匹敵する再現性が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-26T17:43:15Z)
• KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution [19.021411176761738]
  動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。 既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。 我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:35:09Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• ShuffleMixer: An Efficient ConvNet for Image Super-Resolution [88.86376017828773]
  本稿では、大きな畳み込みとチャネル分割シャッフル操作を探索する軽量画像超解像のためのShuffleMixerを提案する。 具体的には,チャネル分割とシャッフルを基本成分とする2つのプロジェクション層を効率よく混合する。 実験結果から,ShuffleMixerはモデルパラメータやFLOPの手法に比べて約6倍小さいことがわかった。
  論文  参考訳（メタデータ） (2022-05-30T15:26:52Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Efficient Deep Image Denoising via Class Specific Convolution [24.103826414190216]
  画素ワイズ分類に基づく画像復調のための効率的なディープニューラルネットワークを提案する。 提案手法は性能を犠牲にすることなく計算コストを削減できる。
  論文  参考訳（メタデータ） (2021-03-02T10:28:15Z)
• Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification [46.885260723836865]
  ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。 画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。 我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
  論文  参考訳（メタデータ） (2020-10-11T17:55:06Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。