論文の概要: First image then video: A two-stage network for spatiotemporal video denoising

• arxiv url: http://arxiv.org/abs/2001.00346v2
• Date: Wed, 22 Jan 2020 03:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 04:22:49.871289
• Title: First image then video: A two-stage network for spatiotemporal video denoising
• Title（参考訳）: first image then video: 時空間ビデオのための2段階ネットワーク
• Authors: Ce Wang, S. Kevin Zhou, Zhiwei Cheng
• Abstract要約: ビデオデノナイジングとは、ノイズが破損したデータからノイズを取り除き、真のモーション信号を回復することである。 既存のビデオデノゲーションのアプローチは、ぼやけたアーチファクトに悩まされる傾向にあり、移動物体の境界はぼやけたように見える傾向にある。 本稿では,画像デノナイズモジュールと時間内ビデオデノナイズモジュールからなる,第1像から第2段階のデノナイズニューラルネットワークを提案する。 品質と計算の両面から、Vimeo90Kデータセットを識別するビデオ上で、最先端のパフォーマンスが得られる。
• 参考スコア（独自算出の注目度）: 19.842488445174524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video denoising is to remove noise from noise-corrupted data, thus recovering true signals via spatiotemporal processing. Existing approaches for spatiotemporal video denoising tend to suffer from motion blur artifacts, that is, the boundary of a moving object tends to appear blurry especially when the object undergoes a fast motion, causing optical flow calculation to break down. In this paper, we address this challenge by designing a first-image-then-video two-stage denoising neural network, consisting of an image denoising module for spatially reducing intra-frame noise followed by a regular spatiotemporal video denoising module. The intuition is simple yet powerful and effective: the first stage of image denoising effectively reduces the noise level and, therefore, allows the second stage of spatiotemporal denoising for better modeling and learning everywhere, including along the moving object boundaries. This two-stage network, when trained in an end-to-end fashion, yields the state-of-the-art performances on the video denoising benchmark Vimeo90K dataset in terms of both denoising quality and computation. It also enables an unsupervised approach that achieves comparable performance to existing supervised approaches.
• Abstract（参考訳）: ビデオデノナイジングはノイズ崩壊したデータからノイズを取り除き、時空間処理によって真の信号を復元する。 既存の時空間ビデオデノゲーションのアプローチでは、動きのぼやけたアーティファクトに悩まされる傾向があり、特に物体が高速な動きをすると、移動物体の境界がぼやけてしまう傾向にあり、光学的フロー計算が故障する。 本稿では,フレーム内ノイズを空間的に低減する画像デノナイズモジュールと,時空間ビデオデノナイズモジュールを組み合わせた,第1像の2段階デノナイズニューラルネットワークを設計することで,この問題に対処する。 直観は単純だが強力で効果的であり、画像の1段目はノイズレベルを効果的に減らし、2段目は運動する物体の境界に沿って、より優れたモデリングと学習のために時空間の分極を許容する。 この2段階ネットワークは、エンドツーエンドの方法でトレーニングされると、品質と計算の両面で、ビデオデノイジングベンチマークvimeo90kデータセットの最先端のパフォーマンスが得られる。 また、既存の教師なしのアプローチと同等のパフォーマンスを達成する教師なしのアプローチを可能にする。

関連論文リスト

• Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers [30.965705043127144]
  本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。 時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。 他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T15:05:33Z)
• TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models [94.24861019513462]
  TRIPは画像間拡散パラダイムの新しいレシピである。 静的画像から派生した画像ノイズをピボットして、フレーム間の関係推論を共同でトリガーする。 WebVid-10M、DTDB、MSR-VTTデータセットに関する大規模な実験は、TRIPの有効性を示している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:40Z)
• Real-time Controllable Denoising for Image and Video [44.68523669975698]
  コントロール可能なイメージデノゲーションは、人間の先行したクリーンなサンプルを生成し、シャープさと滑らかさのバランスをとることを目的としている。 本稿では,最初のディープ・イメージ・ビデオ・デノナイズ・パイプラインであるReal-time Controllable Denoising (RCD)を紹介する。 RCDは、任意のdenoisingレベルをリアルタイムに編集するための、完全に制御可能なユーザインターフェースを提供する。
  論文  参考訳（メタデータ） (2023-03-29T03:10:28Z)
• Low Latency Video Denoising for Online Conferencing Using CNN Architectures [4.7805617044617446]
  本稿では,ランタイムコストが低く,知覚品質の高いリアルタイムビデオデノナイズのためのパイプラインを提案する。 カスタムノイズ検出器アナライザは、重みに適応し、モデルの出力を改善するためにリアルタイムフィードバックを提供する。
  論文  参考訳（メタデータ） (2023-02-17T00:55:54Z)
• Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
  リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。 最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。 本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-14T14:01:03Z)
• IDR: Self-Supervised Image Denoising via Iterative Data Refinement [66.5510583957863]
  本稿では,最先端のデノナイジング性能を実現するために,教師なしの実用的なデノナイジング手法を提案する。 本手法では, 1つのノイズ画像と1つのノイズモデルしか必要とせず, 実際の生画像に容易にアクセス可能である。 実世界のアプリケーションにおける生画像復調性能を評価するため,500シーンのシーンを含む高品質な生画像データセットSenseNoise-500を構築した。
  論文  参考訳（メタデータ） (2021-11-29T07:22:53Z)
• Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and Video Denoising [104.59305271099967]
  ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。 時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。 本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
  論文  参考訳（メタデータ） (2021-01-26T13:00:46Z)
• Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
  Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。 ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。 デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
  論文  参考訳（メタデータ） (2021-01-08T02:03:25Z)
• Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
  合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。 従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。 本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-07T07:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。