論文の概要: Restore from Restored: Video Restoration with Pseudo Clean Video

• arxiv url: http://arxiv.org/abs/2003.04279v3
• Date: Mon, 15 Mar 2021 04:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 09:10:35.362384
• Title: Restore from Restored: Video Restoration with Pseudo Clean Video
• Title（参考訳）: 復元からの復元:疑似クリーンビデオによる映像復元
• Authors: Seunghwan Lee, Donghyeon Cho, Jiwon Kim, Tae Hyun Kim
• Abstract要約: 自己管理型ビデオ復号化手法"restore-from-restored"を提案する。 テストフェーズ中に擬似クリーンビデオを用いて事前学習ネットワークを微調整する。 提案した自己超越型学習アルゴリズムを用いて、微調整ビデオ復調ネットワークの復元性能を解析する。
• 参考スコア（独自算出の注目度）: 28.057705167363327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose a self-supervised video denoising method called "restore-from-restored." This method fine-tunes a pre-trained network by using a pseudo clean video during the test phase. The pseudo clean video is obtained by applying a noisy video to the baseline network. By adopting a fully convolutional neural network (FCN) as the baseline, we can improve video denoising performance without accurate optical flow estimation and registration steps, in contrast to many conventional video restoration methods, due to the translation equivariant property of the FCN. Specifically, the proposed method can take advantage of plentiful similar patches existing across multiple consecutive frames (i.e., patch-recurrence); these patches can boost the performance of the baseline network by a large margin. We analyze the restoration performance of the fine-tuned video denoising networks with the proposed self-supervision-based learning algorithm, and demonstrate that the FCN can utilize recurring patches without requiring accurate registration among adjacent frames. In our experiments, we apply the proposed method to state-of-the-art denoisers and show that our fine-tuned networks achieve a considerable improvement in denoising performance.
• Abstract（参考訳）: 本研究では,自己監督型ビデオ復号化手法"restore-from-restored"を提案する。 テストフェーズ中に擬似クリーンビデオを用いて事前学習したネットワークを微調整する。 ベースラインネットワークにノイズのあるビデオを適用することにより、擬似クリーンビデオを得る。 ベースラインとして完全畳み込みニューラルネットワーク(FCN)を採用することにより、FCNの翻訳同変性のため、従来の多くのビデオ復元手法とは対照的に、正確な光フロー推定や登録手順を使わずに、ビデオ復調性能を向上させることができる。 具体的には、複数の連続するフレームにまたがる多くの類似したパッチ(パッチ・リカレンス)を利用することができ、これらのパッチはベースラインネットワークの性能を大幅に向上させることができる。 提案する自己スーパービジョンに基づく学習アルゴリズムを用いて,微調整映像の復元性能を解析し,fcnが隣接フレーム間の正確な登録を必要とせずに繰り返しパッチを活用できることを実証した。 実験では,提案手法を最先端のデノイザに適用し,細調整されたネットワークが性能を著しく向上することを示す。

関連論文リスト

• Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers [30.965705043127144]
  本稿では,TAP (Temporal As aTAP) という,教師なしのビデオデノベーションフレームワークを提案する。 時間的加群を組み込むことで、ノイズの多いフレームをまたがる時間的情報を活用することができ、空間的 denoising のパワーを補完することができる。 他の教師なしビデオ復号化手法と比較して,本フレームワークは,SRGBと生ビデオ復号化データセットの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T15:05:33Z)
• Video Restoration with a Deep Plug-and-Play Prior [3.058685580689605]
  本稿では,Deep Plug-and-Play(Play)アプローチによるデジタルビデオの復元手法を提案する。 形式主義の下では、この方法は前者の演算子の代わりにディープ・コンボリューショナル・ベイズ・デノナイジング・ネットワークを使用することによって構成される。 ビデオデブロアリング,超高分解能,および近位ランダム欠落画素を用いた実験は,ビデオデノイング用に特別に設計されたネットワークを使用する上で,明らかなメリットを示している。
  論文  参考訳（メタデータ） (2022-09-06T23:31:20Z)
• Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising [137.5080784570804]
  Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。 既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。 本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:09:18Z)
• Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
  リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。 最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。 本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-14T14:01:03Z)
• Dynamic Slimmable Denoising Network [64.77565006158895]
  DDSNet(Dynamic Slimmable Denoising Network)は、計算量が少なくて優れたDenoising品質を実現するための一般的な手法である。 OurNetには動的ゲートによる動的推論の能力が備わっている。 我々の実験は、最先端の個別に訓練された静的 denoising ネットワークよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-10-17T22:45:33Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and Video Denoising [104.59305271099967]
  ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。 時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。 本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
  論文  参考訳（メタデータ） (2021-01-26T13:00:46Z)
• Unsupervised Deep Video Denoising [26.864842892466136]
  ディープ畳み込みニューラルネットワーク(CNN)は現在、ビデオの復調において最先端のパフォーマンスを実現している。 我々は、教師なし静止画像の最近の進歩を基盤として、教師なし深層映像デノイザ(UDVD)の開発を行っている。 UDVDは、現在の最先端の教師付き手法とベンチマークデータセットで競合して動作する。
  論文  参考訳（メタデータ） (2020-11-30T17:45:08Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Self-Supervised training for blind multi-frame video denoising [15.078027648304115]
  マルチフレーム・ビデオ・デノゲーション・ネットワークを学習するための自己教師型アプローチを提案する。 提案手法は,予測フレームtと隣接するターゲットフレームとの損失をペナルティ化することにより,映像の時間的一貫性の恩恵を受ける。
  論文  参考訳（メタデータ） (2020-04-15T09:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。