論文の概要: Fast and High-Quality Image Denoising via Malleable Convolutions

• arxiv url: http://arxiv.org/abs/2201.00392v1
• Date: Sun, 2 Jan 2022 18:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 15:22:27.787426
• Title: Fast and High-Quality Image Denoising via Malleable Convolutions
• Title（参考訳）: 可搬性畳み込みによる高速高画質画像の雑音化
• Authors: Yifan Jiang, Bart Wronski, Ben Mildenhall, Jon Barron, Zhangyang Wang, Tianfan Xue
• Abstract要約: textbfMalleable textbfConvolution (textbfMalleConv) を動的畳み込みの効率的な変種として提示する。 入力から空間的に変化するカーネルのセットがはるかに小さくなり、ネットワークの受容領域が拡大し、計算とメモリのコストが大幅に削減される。
• 参考スコア（独自算出の注目度）: 72.18723834537494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many image processing networks apply a single set of static convolutional kernels across the entire input image, which is sub-optimal for natural images, as they often consist of heterogeneous visual patterns. Recent work in classification, segmentation, and image restoration has demonstrated that dynamic kernels outperform static kernels at modeling local image statistics. However, these works often adopt per-pixel convolution kernels, which introduce high memory and computation costs. To achieve spatial-varying processing without significant overhead, we present \textbf{Malle}able \textbf{Conv}olution (\textbf{MalleConv}), as an efficient variant of dynamic convolution. The weights of \ours are dynamically produced by an efficient predictor network capable of generating content-dependent outputs at specific spatial locations. Unlike previous works, \ours generates a much smaller set of spatially-varying kernels from input, which enlarges the network's receptive field and significantly reduces computational and memory costs. These kernels are then applied to a full-resolution feature map through an efficient slice-and-conv operator with minimum memory overhead. We further build a efficient denoising network using MalleConv, coined as \textbf{MalleNet}. It achieves high quality results without very deep architecture, \eg, it is 8.91$\times$ faster than the best performed denoising algorithms (SwinIR), while maintaining similar performance. We also show that a single \ours added to a standard convolution-based backbones can contribute significantly reduce the computational cost or boost image quality at similar cost. Project page: https://yifanjiang.net/MalleConv.html
• Abstract（参考訳）: 多くの画像処理ネットワークは入力画像全体にわたって1組の静的畳み込みカーネルを適用している。 近年の分類、セグメント化、画像復元の研究は、局所的な画像統計のモデリングにおいて、動的カーネルが静的カーネルよりも優れていることを示した。 しかし、これらの作品はしばしばピクセル単位の畳み込みカーネルを採用し、高いメモリと計算コストをもたらす。 空間変動処理を実現するために,動的畳み込みの効率的な変種として \textbf{malle}able \textbf{conv}olution (\textbf{malleconv})を提案する。 \oursの重みは、特定の空間位置でコンテンツ依存出力を生成することができる効率的な予測ネットワークによって動的に生成される。 以前の作品とは異なり、 \ours は入力から空間的に変動するカーネルの集合を生成し、ネットワークの受容野を拡大し、計算コストとメモリコストを大幅に削減する。 これらのカーネルは、メモリオーバーヘッドを最小限にした効率的なスライス・アンド・コンブ演算子を通じて、フル解像度の機能マップに適用される。 さらに,MalleConvを用いて効率の良い復調ネットワークを構築した。 非常に深いアーキテクチャを使わずに高品質な結果が得られるが、同様の性能を維持しながら、最高の性能の復調アルゴリズム(SwinIR)よりも8.91$\times$高速である。 また、標準畳み込みベースのバックボーンに1つの\oursを追加することで、計算コストを大幅に削減したり、同様のコストで画質を向上できることを示した。 プロジェクトページ:https://yifanjiang.net/MalleConv.html

関連論文リスト

• Serpent: Scalable and Efficient Image Restoration via Multi-scale Structured State Space Models [22.702352459581434]
  サーペントは高解像度画像復元のための効率的なアーキテクチャである。 本稿では,Serpentが最先端技術に匹敵する再現性が得られることを示す。
  論文  参考訳（メタデータ） (2024-03-26T17:43:15Z)
• KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution [19.021411176761738]
  動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。 既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。 我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:35:09Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• ShuffleMixer: An Efficient ConvNet for Image Super-Resolution [88.86376017828773]
  本稿では、大きな畳み込みとチャネル分割シャッフル操作を探索する軽量画像超解像のためのShuffleMixerを提案する。 具体的には,チャネル分割とシャッフルを基本成分とする2つのプロジェクション層を効率よく混合する。 実験結果から,ShuffleMixerはモデルパラメータやFLOPの手法に比べて約6倍小さいことがわかった。
  論文  参考訳（メタデータ） (2022-05-30T15:26:52Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Efficient Deep Image Denoising via Class Specific Convolution [24.103826414190216]
  画素ワイズ分類に基づく画像復調のための効率的なディープニューラルネットワークを提案する。 提案手法は性能を犠牲にすることなく計算コストを削減できる。
  論文  参考訳（メタデータ） (2021-03-02T10:28:15Z)
• Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification [46.885260723836865]
  ディープ畳み込みニューラルネットワーク (Deep Convolutional Neural Network, CNN) は、高解像度画像で処理することで一般的に改善される。 画像中のすべての領域がタスク関連であるとは限らないという事実に着想を得て,効率的な画像分類を行う新しいフレームワークを提案する。 我々のフレームワークは、最先端の軽量CNNの多くと互換性があり、汎用的で柔軟です。
  論文  参考訳（メタデータ） (2020-10-11T17:55:06Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。