論文の概要: Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers
- arxiv url: http://arxiv.org/abs/2409.11256v1
- Date: Tue, 17 Sep 2024 15:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 16:13:33.998056
- Title: Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers
- Title（参考訳）: プラグインとしてのテンポラル:事前訓練された画像デノイアで教師なしのビデオデノイア
- Authors: Zixuan Fu, Lanqing Guo, Chong Wang, Yufei Wang, Zhihao Li, Bihan Wen,
- Abstract要約: 本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。
時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。
他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
- 参考スコア（独自算出の注目度）: 30.965705043127144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in deep learning have shown impressive results in image and video denoising, leveraging extensive pairs of noisy and noise-free data for supervision. However, the challenge of acquiring paired videos for dynamic scenes hampers the practical deployment of deep video denoising techniques. In contrast, this obstacle is less pronounced in image denoising, where paired data is more readily available. Thus, a well-trained image denoiser could serve as a reliable spatial prior for video denoising. In this paper, we propose a novel unsupervised video denoising framework, named ``Temporal As a Plugin'' (TAP), which integrates tunable temporal modules into a pre-trained image denoiser. By incorporating temporal modules, our method can harness temporal information across noisy frames, complementing its power of spatial denoising. Furthermore, we introduce a progressive fine-tuning strategy that refines each temporal module using the generated pseudo clean video frames, progressively enhancing the network's denoising performance. Compared to other unsupervised video denoising methods, our framework demonstrates superior performance on both sRGB and raw video denoising datasets.
- Abstract（参考訳）: 近年のディープラーニングの進歩は、画像とビデオの雑音化において顕著な結果を示し、ノイズのない大量のノイズとノイズのないデータのペアを監督に利用している。
しかし、ダイナミックシーンのためのペアビデオを取得するという課題は、ディープ・ビデオ・デノベーション・テクニックの実践的な展開を妨げている。
対照的に、この障害は、ペアデータの入手がより容易な画像復調において、あまり顕著ではない。
このように、よく訓練された画像復調器は、映像復調のための信頼性の高い空間的先行として機能する。
本稿では,教師なしの時間的モジュールを事前学習した画像復号器に統合する,‘Temporal As a Plugin'(TAP)’という,教師なしビデオ復号化フレームワークを提案する。
時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。
さらに,生成した擬似クリーンビデオフレームを用いて各時間モジュールを改良し,ネットワークの性能を段階的に向上するプログレッシブ微調整戦略を導入する。
他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
関連論文リスト
- Unsupervised Coordinate-Based Video Denoising [2.867801048665443]
我々は、データ不足の問題を緩和するのに役立つ、新しい教師なしのディープラーニングアプローチを導入します。
提案手法は,特徴マップを生成する特徴生成器,復号化参照フレームを生成するデノワーズネット,高周波詳細を再導入するRefine-Netの3つのモジュールから構成される。
論文 参考訳（メタデータ） (2023-07-01T00:11:40Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Low Latency Video Denoising for Online Conferencing Using CNN
Architectures [4.7805617044617446]
本稿では,ランタイムコストが低く,知覚品質の高いリアルタイムビデオデノナイズのためのパイプラインを提案する。
カスタムノイズ検出器アナライザは、重みに適応し、モデルの出力を改善するためにリアルタイムフィードバックを提供する。
論文 参考訳（メタデータ） (2023-02-17T00:55:54Z) - Learning Task-Oriented Flows to Mutually Guide Feature Alignment in
Synthesized and Real Video Denoising [137.5080784570804]
Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。
既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。
本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
論文 参考訳（メタデータ） (2022-08-25T00:09:18Z) - IDR: Self-Supervised Image Denoising via Iterative Data Refinement [66.5510583957863]
本稿では,最先端のデノナイジング性能を実現するために,教師なしの実用的なデノナイジング手法を提案する。
本手法では, 1つのノイズ画像と1つのノイズモデルしか必要とせず, 実際の生画像に容易にアクセス可能である。
実世界のアプリケーションにおける生画像復調性能を評価するため,500シーンのシーンを含む高品質な生画像データセットSenseNoise-500を構築した。
論文 参考訳（メタデータ） (2021-11-29T07:22:53Z) - Synergy Between Semantic Segmentation and Image Denoising via Alternate
Boosting [102.19116213923614]
ノイズ除去とセグメンテーションを交互に行うためのブーストネットワークを提案する。
我々は,ノイズによるセグメンテーション精度の低下に対処するだけでなく,画素別意味情報によってデノージング能力が向上することを示す。
実験の結果,デノイド画像の品質が大幅に向上し,セグメンテーション精度がクリーン画像に近いことを示した。
論文 参考訳（メタデータ） (2021-02-24T06:48:45Z) - Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and
Video Denoising [104.59305271099967]
ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。
時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。
本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
論文 参考訳（メタデータ） (2021-01-26T13:00:46Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳（メタデータ） (2021-01-08T02:03:25Z) - Restore from Restored: Video Restoration with Pseudo Clean Video [28.057705167363327]
自己管理型ビデオ復号化手法"restore-from-restored"を提案する。
テストフェーズ中に擬似クリーンビデオを用いて事前学習ネットワークを微調整する。
提案した自己超越型学習アルゴリズムを用いて、微調整ビデオ復調ネットワークの復元性能を解析する。
論文 参考訳（メタデータ） (2020-03-09T17:37:28Z) - Restore from Restored: Single Image Denoising with Pseudo Clean Image [28.38369890008251]
我々は「再保存型」と呼ばれるシンプルで効果的な微調整アルゴリズムを提案する。
提案手法は,最先端のデノナイジングネットワーク上で容易に利用することができる。
論文 参考訳（メタデータ） (2020-03-09T17:35:31Z) - First image then video: A two-stage network for spatiotemporal video
denoising [19.842488445174524]
ビデオデノナイジングとは、ノイズが破損したデータからノイズを取り除き、真のモーション信号を回復することである。
既存のビデオデノゲーションのアプローチは、ぼやけたアーチファクトに悩まされる傾向にあり、移動物体の境界はぼやけたように見える傾向にある。
本稿では,画像デノナイズモジュールと時間内ビデオデノナイズモジュールからなる,第1像から第2段階のデノナイズニューラルネットワークを提案する。
品質と計算の両面から、Vimeo90Kデータセットを識別するビデオ上で、最先端のパフォーマンスが得られる。
論文 参考訳（メタデータ） (2020-01-02T07:21:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。