論文の概要: NegVSR: Augmenting Negatives for Generalized Noise Modeling in Real-World Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2305.14669v3
• Date: Mon, 1 Jan 2024 14:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 02:32:43.579924
• Title: NegVSR: Augmenting Negatives for Generalized Noise Modeling in Real-World Video Super-Resolution
• Title（参考訳）: NegVSR: リアルタイムビデオ超解法における一般化ノイズモデリングのための負の増大
• Authors: Yexing Song, Meilin Wang, Zhijing Yang, Xiaoyu Xian, Yukai Shi
• Abstract要約: 理想的なデータセットから高解像度(HR)ビデオを合成するためのビデオ超解像(VSR)が多くの研究で実証されている。 VSRモデルを未知の複雑な劣化を伴う実世界のビデオに適用することは、依然として困難な課題である。 ビデオ超解法(NegVSR)課題における一般化ノイズモデリングのための負の強化戦略を提案する。
• 参考スコア（独自算出の注目度）: 12.103035018456566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The capability of video super-resolution (VSR) to synthesize high-resolution (HR) video from ideal datasets has been demonstrated in many works. However, applying the VSR model to real-world video with unknown and complex degradation remains a challenging task. First, existing degradation metrics in most VSR methods are not able to effectively simulate real-world noise and blur. On the contrary, simple combinations of classical degradation are used for real-world noise modeling, which led to the VSR model often being violated by out-of-distribution noise. Second, many SR models focus on noise simulation and transfer. Nevertheless, the sampled noise is monotonous and limited. To address the aforementioned problems, we propose a Negatives augmentation strategy for generalized noise modeling in Video Super-Resolution (NegVSR) task. Specifically, we first propose sequential noise generation toward real-world data to extract practical noise sequences. Then, the degeneration domain is widely expanded by negative augmentation to build up various yet challenging real-world noise sets. We further propose the augmented negative guidance loss to learn robust features among augmented negatives effectively. Extensive experiments on real-world datasets (e.g., VideoLQ and FLIR) show that our method outperforms state-of-the-art methods with clear margins, especially in visual quality. Project page is available at: https://negvsr.github.io/.
• Abstract（参考訳）: 理想的なデータセットから高解像度(HR)ビデオを合成するビデオ超解像(VSR)の能力は、多くの研究で実証されている。 しかし、未知の複雑な劣化を伴う実世界のビデオにVSRモデルを適用することは難しい課題である。 まず、ほとんどのvsrメソッドにおける既存の劣化指標は、実世界のノイズやぼけを効果的にシミュレートできない。 それとは対照的に、古典的劣化の単純な組み合わせは実世界のノイズモデリングに使われ、VSRモデルはしばしば分配外ノイズによって破られる。 第二に、多くのSRモデルはノイズシミュレーションと転送に焦点を当てている。 しかし、サンプルノイズは単調で制限されている。 上記の問題に対処するために,ビデオ超解法(NegVSR)タスクにおける一般化雑音モデリングのための負の強化戦略を提案する。 具体的には,実世界のデータを対象とした逐次ノイズ生成手法を提案する。 そして、負の加減により、デジェネレーションドメインが広範囲に拡張され、様々な実世界のノイズ集合を構築する。 我々はさらに,arded negative guidance lossを提案し,arded negatives間のロバストな特徴を効果的に学習する。 実世界のデータセット(例えば VideoLQ や FLIR)に対する大規模な実験により、我々の手法は、特に視覚的品質において、最先端の手法よりも優れていることが示された。 プロジェクトページはhttps://negvsr.github.io/。

関連論文リスト

• From Chaos to Clarity: 3DGS in the Dark [28.232432162734437]
  未処理の生画像のノイズは、3次元シーン表現の精度を損なう。 3D Gaussian Splatting (3DGS)はこのノイズに特に影響を受けやすい。 ノイズの多い生画像からHDR 3DGSを再構成するための,新しい自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:00:16Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• RViDeformer: Efficient Raw Video Denoising Transformer with a Larger Benchmark Dataset [16.131438855407175]
  教師付き生ビデオのデノベーションのためのリアルな動きを持つ大規模なデータセットは存在しない。 ノイズクリーンな120グループからなるビデオデノケーションデータセット(ReCRVDと名づけられた)を構築した。 短距離・長距離の相関関係を探索するRViDeformer(RViDeformer)を提案する。
  論文  参考訳（メタデータ） (2023-05-01T11:06:58Z)
• PVDD: A Practical Video Denoising Dataset with Real-World Dynamic Scenes [56.4361151691284]
  PVDD(Practical Video Denoising dataset)は,200個のノイズクリーンな動的ビデオペアをsRGBおよびRAW形式で格納する。 限られた動き情報からなる既存のデータセットと比較すると、PVDDは自然な動きの変化する動的なシーンをカバーしている。
  論文  参考訳（メタデータ） (2022-07-04T12:30:22Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Unsupervised Single Image Super-resolution Under Complex Noise [60.566471567837574]
  本稿では,一般のSISRタスクを未知の劣化で扱うためのモデルベースunsupervised SISR法を提案する。 提案手法は, より小さなモデル (0.34M vs. 2.40M) だけでなく, より高速な技術 (SotA) 法 (約1dB PSNR) の現況を明らかに超えることができる。
  論文  参考訳（メタデータ） (2021-07-02T11:55:40Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。