論文の概要: Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling

• arxiv url: http://arxiv.org/abs/2204.07114v1
• Date: Thu, 14 Apr 2022 17:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 15:16:05.852493
• Title: Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling
• Title（参考訳）: look back and forth: 明示的な時間差モデリングによるビデオの超解像
• Authors: Takashi Isobe and Xu Jia and Xin Tao and Changlin Li and Ruihuang Li and Yongjie Shi and Jing Mu and Huchuan Lu and Yu-Wing Tai
• Abstract要約: 本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
• 参考スコア（独自算出の注目度）: 105.69197687940505
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Temporal modeling is crucial for video super-resolution. Most of the video super-resolution methods adopt the optical flow or deformable convolution for explicitly motion compensation. However, such temporal modeling techniques increase the model complexity and might fail in case of occlusion or complex motion, resulting in serious distortion and artifacts. In this paper, we propose to explore the role of explicit temporal difference modeling in both LR and HR space. Instead of directly feeding consecutive frames into a VSR model, we propose to compute the temporal difference between frames and divide those pixels into two subsets according to the level of difference. They are separately processed with two branches of different receptive fields in order to better extract complementary information. To further enhance the super-resolution result, not only spatial residual features are extracted, but the difference between consecutive frames in high-frequency domain is also computed. It allows the model to exploit intermediate SR results in both future and past to refine the current SR output. The difference at different time steps could be cached such that information from further distance in time could be propagated to the current frame for refinement. Experiments on several video super-resolution benchmark datasets demonstrate the effectiveness of the proposed method and its favorable performance against state-of-the-art methods.
• Abstract（参考訳）: 超高解像度ビデオには時間モデリングが不可欠である。 ビデオのスーパーレゾリューション手法の多くは、光学的流れや変形可能な畳み込みを明示的な動き補償に採用している。 しかし、このような時間的モデリング技術はモデルの複雑さを増大させ、閉塞や複雑な動きで失敗する可能性があり、重大な歪みやアーチファクトをもたらす。 本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 連続するフレームをvsrモデルに直接送る代わりに、フレーム間の時間的差を計算し、それらのピクセルを差分のレベルに応じて2つのサブセットに分割することを提案する。 補完情報を抽出するために、異なる受容領域の2つの枝で別々に処理される。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。 これにより、モデルが将来と過去の中間SR結果を利用して、現在のSR出力を洗練できる。 異なる時間ステップでの差分をキャッシュすることで、時間内の更なる距離からの情報が現在のフレームに伝播して精錬することができる。 いくつかのビデオ超高解像度ベンチマークデータセットの実験は、提案手法の有効性と最先端手法に対する良好な性能を示す。

関連論文リスト

• Group-based Bi-Directional Recurrent Wavelet Neural Networks for Video Super-Resolution [4.9136996406481135]
  ビデオ超解像(VSR)は、低解像度(LR)フレームから高解像度(HR)フレームを推定することを目的としている。 VSRの鍵となる課題は、フレーム内の空間的相関と連続フレーム間の時間的依存を効果的に活用することにある。
  論文  参考訳（メタデータ） (2021-06-14T06:36:13Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。