論文の概要: Real-time Controllable Denoising for Image and Video
- arxiv url: http://arxiv.org/abs/2303.16425v1
- Date: Wed, 29 Mar 2023 03:10:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:15:57.144246
- Title: Real-time Controllable Denoising for Image and Video
- Title（参考訳）: 映像・映像のリアルタイム制御可能デノイジング
- Authors: Zhaoyang Zhang, Yitong Jiang, Wenqi Shao, Xiaogang Wang, Ping Luo,
Kaimo Lin, Jinwei Gu
- Abstract要約: コントロール可能なイメージデノゲーションは、人間の先行したクリーンなサンプルを生成し、シャープさと滑らかさのバランスをとることを目的としている。
本稿では,最初のディープ・イメージ・ビデオ・デノナイズ・パイプラインであるReal-time Controllable Denoising (RCD)を紹介する。
RCDは、任意のdenoisingレベルをリアルタイムに編集するための、完全に制御可能なユーザインターフェースを提供する。
- 参考スコア（独自算出の注目度）: 44.68523669975698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Controllable image denoising aims to generate clean samples with human
perceptual priors and balance sharpness and smoothness. In traditional
filter-based denoising methods, this can be easily achieved by adjusting the
filtering strength. However, for NN (Neural Network)-based models, adjusting
the final denoising strength requires performing network inference each time,
making it almost impossible for real-time user interaction. In this paper, we
introduce Real-time Controllable Denoising (RCD), the first deep image and
video denoising pipeline that provides a fully controllable user interface to
edit arbitrary denoising levels in real-time with only one-time network
inference. Unlike existing controllable denoising methods that require multiple
denoisers and training stages, RCD replaces the last output layer (which
usually outputs a single noise map) of an existing CNN-based model with a
lightweight module that outputs multiple noise maps. We propose a novel Noise
Decorrelation process to enforce the orthogonality of the noise feature maps,
allowing arbitrary noise level control through noise map interpolation. This
process is network-free and does not require network inference. Our experiments
show that RCD can enable real-time editable image and video denoising for
various existing heavy-weight models without sacrificing their original
performance.
- Abstract（参考訳）: controllable image denoisingは、人間の知覚を優先したクリーンなサンプルを生成し、シャープさと滑らかさのバランスをとることを目的としている。
従来のフィルタに基づく復調法では、フィルタ強度を調整することで容易に実現できる。
しかし、NN(Neural Network)ベースのモデルでは、最終的なデノナイジング強度を調整するには、毎回ネットワーク推論を実行する必要があるため、リアルタイムのユーザインタラクションではほぼ不可能である。
本稿では,実時間ネットワーク推論のみでリアルタイムに任意の復調レベルを編集する,完全な制御可能なユーザインターフェースを提供する,最初のディープイメージ/ビデオ復調パイプラインであるReal-time Controllable Denoising (RCD)を紹介する。
複数のノイズマップとトレーニング段階を必要とする既存の制御可能なdenoisingメソッドとは異なり、RCDは既存のCNNベースのモデルの最後の出力層(通常は単一ノイズマップを出力する)を、複数のノイズマップを出力する軽量モジュールに置き換える。
ノイズマップ補間による任意のノイズレベル制御を実現するため,ノイズ特徴写像の直交性を強制する新しいノイズデコレーション法を提案する。
このプロセスはネットワークフリーであり、ネットワーク推論を必要としない。
実験の結果,rcdは実時間編集可能な画像および映像の編集が可能となり,その性能を犠牲にすることなく,既存の重み付けモデルが利用可能となった。
関連論文リスト
- LAN: Learning to Adapt Noise for Image Denoising [10.90034618138499]
本稿では,学習可能な雑音オフセットを与えられたノイズ画像に直接付加し,与えられた入力ノイズを学習ネットワークが処理するノイズ分布に近づける,学習型適応雑音(LAN)と呼ばれる新しい雑音除去アルゴリズムを提案する。
提案手法では,ノイズが見えない画像の性能向上を図り,提案する研究方向の可能性を提示する。
論文 参考訳（メタデータ） (2024-12-14T02:46:25Z) - Self-Calibrated Variance-Stabilizing Transformations for Real-World Image Denoising [19.08732222562782]
教師付き深層学習が画像認知のための選択方法となっている。
一般の信条とは対照的に,ガウスノイズ除去に特化するネットワークを有効活用し,実世界の画像復調に有効であることを示す。
論文 参考訳（メタデータ） (2024-07-24T16:23:46Z) - Enhancing convolutional neural network generalizability via low-rank weight approximation [6.763245393373041]
十分なノイズ処理は、画像処理にとって重要な第一歩であることが多い。
ディープニューラルネットワーク(DNN)は画像のノイズ化に広く利用されている。
本研究では,タッカー低ランクテンソル近似に基づく自己教師付き画像復調フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-26T14:11:05Z) - Dynamic Slimmable Denoising Network [64.77565006158895]
DDSNet(Dynamic Slimmable Denoising Network)は、計算量が少なくて優れたDenoising品質を実現するための一般的な手法である。
OurNetには動的ゲートによる動的推論の能力が備わっている。
我々の実験は、最先端の個別に訓練された静的 denoising ネットワークよりも一貫して優れています。
論文 参考訳（メタデータ） (2021-10-17T22:45:33Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳（メタデータ） (2021-01-08T02:03:25Z) - Adaptive noise imitation for image denoising [58.21456707617451]
本研究では,自然雑音画像からノイズデータを合成できる新しいテキストバッファ適応ノイズ模倣(ADANI)アルゴリズムを開発した。
現実的なノイズを生成するため、ノイズ発生装置はノイズ発生のガイドとなる雑音/クリーン画像を入力として利用する。
ADANIから出力されるノイズデータとそれに対応する基盤構造とを結合すると、デノイングCNNは、完全に教師された方法で訓練される。
論文 参考訳（メタデータ） (2020-11-30T02:49:36Z) - Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。
従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。
本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-07T07:19:48Z) - Flexible Image Denoising with Multi-layer Conditional Feature Modulation [56.018132592622706]
条件付き特徴変調(CFM)モジュールを備えたU-Netバックボーンを備えることにより,新しいフレキシブル画像符号化ネットワーク(CFMNet)を提案する。
CFMNetは、第1層のみのチャネルワイドシフトと比較して、複数のCFM層を配置することでノイズレベル情報をよりよく利用することができる。
我々のCFMNetは、フレキシブルな非盲検のためのノイズレベル情報を利用するのに有効であり、定量的メトリクスと視覚的品質の両方の観点から、既存の深部画像復調法に対して好適に機能する。
論文 参考訳（メタデータ） (2020-06-24T06:00:00Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳（メタデータ） (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。