論文の概要: Self-Supervised Deep Blind Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2201.07422v1
• Date: Wed, 19 Jan 2022 05:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-20 14:48:40.626486
• Title: Self-Supervised Deep Blind Video Super-Resolution
• Title（参考訳）: 自己監督型深層ブラインドビデオスーパーリゾリューション
• Authors: Haoran Bai and Jinshan Pan
• Abstract要約: 本稿では,視覚ビデオSR問題を解決するための自己教師付き学習手法を提案する。 我々は、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペアデータを生成する。 実験により,本手法は,ベンチマークや実世界のビデオにおいて,最先端の手法に対して良好に動作することが示された。
• 参考スコア（独自算出の注目度）: 46.410705294831374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing deep learning-based video super-resolution (SR) methods usually depend on the supervised learning approach, where the training data is usually generated by the blurring operation with known or predefined kernels (e.g., Bicubic kernel) followed by a decimation operation. However, this does not hold for real applications as the degradation process is complex and cannot be approximated by these idea cases well. Moreover, obtaining high-resolution (HR) videos and the corresponding low-resolution (LR) ones in real-world scenarios is difficult. To overcome these problems, we propose a self-supervised learning method to solve the blind video SR problem, which simultaneously estimates blur kernels and HR videos from the LR videos. As directly using LR videos as supervision usually leads to trivial solutions, we develop a simple and effective method to generate auxiliary paired data from original LR videos according to the image formation of video SR, so that the networks can be better constrained by the generated paired data for both blur kernel estimation and latent HR video restoration. In addition, we introduce an optical flow estimation module to exploit the information from adjacent frames for HR video restoration. Experiments show that our method performs favorably against state-of-the-art ones on benchmarks and real-world videos.
• Abstract（参考訳）: 既存のディープラーニングベースのビデオ超解像法(SR)は、通常、教師付き学習アプローチに依存し、トレーニングデータは、既知のまたは定義されたカーネル(例えば、ビクビックカーネル)でぼやけた操作と、デシメーション操作によって生成される。 しかし、分解過程が複雑であり、これらのアイデアのケースで近似できないため、これは実際の応用には当てはまらない。 さらに,現実シナリオにおける高解像度(HR)ビデオとそれに対応する低解像度(LR)ビデオの取得も困難である。 これらの問題を解決するために,視線ビデオSR問題に対する自己教師付き学習手法を提案し,LRビデオからぼやけたカーネルとHRビデオを同時に推定する。 LRビデオを直接監督として使用すると、通常、自明な解決につながるため、ビデオSRの画像形成に応じて、元のLRビデオから補助的なペア化データを生成するための簡易かつ効率的な方法を開発し、カーネル推定と潜時HRビデオ復元の両方において、生成されたペア化データにより、ネットワークがよりよく制約されるようにした。 さらに、隣接するフレームからの情報を利用してHRビデオの復元を行うための光フロー推定モジュールを導入する。 実験の結果,本手法はベンチマークや実世界ビデオにおいて最先端の手法に対して好適に機能することが示された。

関連論文リスト

• Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
  トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。 具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。 本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-07T18:18:54Z)
• Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
  本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。 我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。 動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
  論文  参考訳（メタデータ） (2023-12-01T14:40:07Z)
• Toward Real-world Image Super-resolution via Hardware-based Adaptive Degradation Models [3.9037347042028254]
  ほとんどの単一画像超解像法は、合成低分解能(LR)と高分解能(HR)画像対上で開発されている。 ハードウェアの知識を取り入れた未知の劣化過程をシミュレートする新しい教師付き手法を提案する。 実世界のデータセットを用いた実験により,我々の劣化モデルが所定の劣化操作よりも精度良くLR画像を推定できることが確認された。
  論文  参考訳（メタデータ） (2021-10-20T19:53:48Z)
• Ada-VSR: Adaptive Video Super-Resolution with Meta-Learning [56.676110454594344]
  VideoSuperResolution(Ada-SR)は、メタトランスファー学習と内部学習を通じて、それぞれ外部および内部情報を使用する。 提案手法を用いてトレーニングしたモデルでは,若干の勾配更新しか行わず,特定の映像条件に迅速に適応できるため,推論時間を大幅に短縮できる。
  論文  参考訳（メタデータ） (2021-08-05T19:59:26Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)
• DynaVSR: Dynamic Adaptive Blind Video Super-Resolution [60.154204107453914]
  DynaVSRは、現実世界のビデオSRのための新しいメタラーニングベースのフレームワークである。 様々な種類の合成ボケカーネルを備えたマルチフレームダウンスケーリングモジュールをトレーニングし、入力認識適応のためのビデオSRネットワークとシームレスに結合する。 実験結果から,DynaVSRは最先端のビデオSRモデルの性能を一定に向上することがわかった。
  論文  参考訳（メタデータ） (2020-11-09T15:07:32Z)
• Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
  我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。 これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。 提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
  論文  参考訳（メタデータ） (2020-05-03T00:12:38Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。