論文の概要: Mask DnGAN: Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask

• arxiv url: http://arxiv.org/abs/2103.02861v1
• Date: Thu, 4 Mar 2021 06:57:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 14:50:24.868557
• Title: Mask DnGAN: Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask
• Title（参考訳）: mask dngan: 逆損失と勾配マスクを備えたマルチステージ生ビデオ
• Authors: Avinash Paliwal, Libing Zeng and Nima Khademi Kalantari
• Abstract要約: 低照度下で撮影した生映像を消音する学習型手法を提案する。 まず、畳み込みニューラルネットワーク(CNN)を用いて、隣接するフレームを現在のフレームに明示的にアライメントする。 次に、登録されたフレームを別のCNNを使って融合し、最終識別フレームを得る。
• 参考スコア（独自算出の注目度）: 14.265454188161819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a learning-based approach for denoising raw videos captured under low lighting conditions. We propose to do this by first explicitly aligning the neighboring frames to the current frame using a convolutional neural network (CNN). We then fuse the registered frames using another CNN to obtain the final denoised frame. To avoid directly aligning the temporally distant frames, we perform the two processes of alignment and fusion in multiple stages. Specifically, at each stage, we perform the denoising process on three consecutive input frames to generate the intermediate denoised frames which are then passed as the input to the next stage. By performing the process in multiple stages, we can effectively utilize the information of neighboring frames without directly aligning the temporally distant frames. We train our multi-stage system using an adversarial loss with a conditional discriminator. Specifically, we condition the discriminator on a soft gradient mask to prevent introducing high-frequency artifacts in smooth regions. We show that our system is able to produce temporally coherent videos with realistic details. Furthermore, we demonstrate through extensive experiments that our approach outperforms state-of-the-art image and video denoising methods both numerically and visually.
• Abstract（参考訳）: 本論文では,低照度下で撮影された生の映像を消音する学習手法を提案する。 まず、畳み込みニューラルネットワーク(cnn)を用いて、隣接するフレームを現在のフレームに明示的に調整することを提案する。 次に、登録されたフレームを別のCNNを使って融合し、最終識別フレームを得る。 時間的に離れたフレームを直接アライメントしないように、複数の段階でアライメントと融合の2つのプロセスを実行します。 具体的には、各段階で3つの連続入力フレームで消音処理を行い、中間消音フレームを生成し、次のステージに入力として渡します。 複数の段階で処理を行うことで、時間的に離れたフレームを直接調整することなく、隣接するフレームの情報を有効に活用することができる。 我々は,条件付き判別器を用いた対向損失を用いた多段階システムの訓練を行う。 具体的には,スムーズな領域に高周波アーティファクトを導入するのを防ぐために,ソフトグラデーションマスクに識別器を装着する。 本システムでは,時間的にコヒーレントな映像をリアルに生成できることを示す。 さらに,本手法が最先端の映像や映像を数値的および視覚的に表現する手法よりも優れていることを示す実験を行った。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers [30.965705043127144]
  本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。 時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。 他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T15:05:33Z)
• TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models [94.24861019513462]
  TRIPは画像間拡散パラダイムの新しいレシピである。 静的画像から派生した画像ノイズをピボットして、フレーム間の関係推論を共同でトリガーする。 WebVid-10M、DTDB、MSR-VTTデータセットに関する大規模な実験は、TRIPの有効性を示している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:40Z)
• Efficient Flow-Guided Multi-frame De-fencing [7.504789972841539]
  デフェンシング(de-fencing)は、画像からそのような障害を自動的に除去するアルゴリズムプロセスである。 本研究では,ブロックされたフレームから直接高品質なフローマップを演算するマルチフレームデフェンシングのためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-01-25T18:42:59Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)
• Self-Supervised training for blind multi-frame video denoising [15.078027648304115]
  マルチフレーム・ビデオ・デノゲーション・ネットワークを学習するための自己教師型アプローチを提案する。 提案手法は,予測フレームtと隣接するターゲットフレームとの損失をペナルティ化することにより,映像の時間的一貫性の恩恵を受ける。
  論文  参考訳（メタデータ） (2020-04-15T09:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。