論文の概要: Recurrent Self-Supervised Video Denoising with Denser Receptive Field

• arxiv url: http://arxiv.org/abs/2308.03608v1
• Date: Mon, 7 Aug 2023 14:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:24:04.185524
• Title: Recurrent Self-Supervised Video Denoising with Denser Receptive Field
• Title（参考訳）: デンザー受容場による自己監督型映像の再生
• Authors: Zichun Wang, Yulun Zhang, Debing Zhang, Ying Fu
• Abstract要約: 自己監督型ビデオデノベーションは、盲点ネットワークを利用することで、かなり進歩している。 従来の自己監督型ビデオデノゲーション手法は、参照フレーム全体または隣接フレーム内の重要な情報損失とテクスチャ破壊に悩まされていた。 本稿では、より密集した受容場を持つ参照フレームと隣接フレームの両方をフル活用する自己教師型ビデオデノベーションのためのRDRFを提案する。
• 参考スコア（独自算出の注目度）: 33.3711070590966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised video denoising has seen decent progress through the use of blind spot networks. However, under their blind spot constraints, previous self-supervised video denoising methods suffer from significant information loss and texture destruction in either the whole reference frame or neighbor frames, due to their inadequate consideration of the receptive field. Moreover, the limited number of available neighbor frames in previous methods leads to the discarding of distant temporal information. Nonetheless, simply adopting existing recurrent frameworks does not work, since they easily break the constraints on the receptive field imposed by self-supervision. In this paper, we propose RDRF for self-supervised video denoising, which not only fully exploits both the reference and neighbor frames with a denser receptive field, but also better leverages the temporal information from both local and distant neighbor features. First, towards a comprehensive utilization of information from both reference and neighbor frames, RDRF realizes a denser receptive field by taking more neighbor pixels along the spatial and temporal dimensions. Second, it features a self-supervised recurrent video denoising framework, which concurrently integrates distant and near-neighbor temporal features. This enables long-term bidirectional information aggregation, while mitigating error accumulation in the plain recurrent framework. Our method exhibits superior performance on both synthetic and real video denoising datasets. Codes will be available at https://github.com/Wang-XIaoDingdd/RDRF.
• Abstract（参考訳）: 自己監督ビデオはブラインドスポットネットワークの利用によってかなり進歩している。 しかし,その盲点制約下では,従来の自己教師付き映像デノイジング手法は,レファレンスフレーム全体や隣接フレーム全体のテクスチャの破壊や情報損失が著しい。 さらに、従来手法で利用可能な隣接フレームの数が限られているため、遠隔時間情報を捨てることになる。 それにもかかわらず、既存のリカレントなフレームワークを採用するだけではうまくいきません。 本稿では,参照フレームと隣接フレームの両方を密接な受容場で完全に活用するだけでなく,局所的特徴と遠方的特徴の両方の時間的情報を有効活用する自己教師付き映像デノイジングのためのrdrfを提案する。 まず、参照フレームと隣接フレームの両方からの情報の包括的利用に向けて、rdrfは、空間的および時間的次元に沿ってより多くの隣接画素を取り込むことにより、より密な受容場を実現する。 第2に、遠隔および近距離の時間的特徴を同時に統合した、自己教師付きリカレントビデオデノイジングフレームワークが特徴だ。 これにより、プレーンなリカレントフレームワークにおけるエラーの蓄積を緩和しながら、長期的な双方向情報集約が可能になる。 本手法は合成データと実映像データの両方において優れた性能を示す。 コードはhttps://github.com/Wang-XIaoDingdd/RDRF.comで入手できる。

関連論文リスト

• Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers [30.965705043127144]
  本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。 時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。 他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T15:05:33Z)
• TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models [94.24861019513462]
  TRIPは画像間拡散パラダイムの新しいレシピである。 静的画像から派生した画像ノイズをピボットして、フレーム間の関係推論を共同でトリガーする。 WebVid-10M、DTDB、MSR-VTTデータセットに関する大規模な実験は、TRIPの有効性を示している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:40Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
  GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。 既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。 我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。 本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2023-08-11T12:17:24Z)
• RViDeformer: Efficient Raw Video Denoising Transformer with a Larger Benchmark Dataset [16.131438855407175]
  教師付き生ビデオのデノベーションのためのリアルな動きを持つ大規模なデータセットは存在しない。 ノイズクリーンな120グループからなるビデオデノケーションデータセット(ReCRVDと名づけられた)を構築した。 短距離・長距離の相関関係を探索するRViDeformer(RViDeformer)を提案する。
  論文  参考訳（メタデータ） (2023-05-01T11:06:58Z)
• Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
  リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。 最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。 本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-14T14:01:03Z)
• Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones [72.68740880786312]
  双方向リカレントネットワーク (BiRNN) は、いくつかのビデオ復元作業において魅力的な性能を示した。 BiRNNは本質的にオフラインである。最後のフレームから現在のフレームへ伝播するために、後方リカレントモジュールを使用するからだ。 本稿では,一方向ビデオ復調のための前方および前方再帰モジュールからなる新しいリカレントネットワークを提案する。
  論文  参考訳（メタデータ） (2022-04-12T05:33:15Z)
• Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask [14.265454188161819]
  低照度下で撮影した生映像を消音する学習型手法を提案する。 まず、畳み込みニューラルネットワーク(CNN)を用いて、隣接するフレームを現在のフレームに明示的にアライメントする。 次に、登録されたフレームを別のCNNを使って融合し、最終識別フレームを得る。
  論文  参考訳（メタデータ） (2021-03-04T06:57:48Z)
• Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
  合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。 従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。 本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-07T07:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。