論文の概要: Context-Aware Video Reconstruction for Rolling Shutter Cameras

• arxiv url: http://arxiv.org/abs/2205.12912v1
• Date: Wed, 25 May 2022 17:05:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 16:47:27.075379
• Title: Context-Aware Video Reconstruction for Rolling Shutter Cameras
• Title（参考訳）: 転がりシャッターカメラのコンテキスト対応映像再構成
• Authors: Bin Fan, Yuchao Dai, Zhiyuan Zhang, Qi Liu, Mingyi He
• Abstract要約: 本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
• 参考スコア（独自算出の注目度）: 52.28710992548282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the ubiquity of rolling shutter (RS) cameras, it is becoming increasingly attractive to recover the latent global shutter (GS) video from two consecutive RS frames, which also places a higher demand on realism. Existing solutions, using deep neural networks or optimization, achieve promising performance. However, these methods generate intermediate GS frames through image warping based on the RS model, which inevitably result in black holes and noticeable motion artifacts. In this paper, we alleviate these issues by proposing a context-aware GS video reconstruction architecture. It facilitates the advantages such as occlusion reasoning, motion compensation, and temporal abstraction. Specifically, we first estimate the bilateral motion field so that the pixels of the two RS frames are warped to a common GS frame accordingly. Then, a refinement scheme is proposed to guide the GS frame synthesis along with bilateral occlusion masks to produce high-fidelity GS video frames at arbitrary times. Furthermore, we derive an approximated bilateral motion field model, which can serve as an alternative to provide a simple but effective GS frame initialization for related tasks. Experiments on synthetic and real data show that our approach achieves superior performance over state-of-the-art methods in terms of objective metrics and subjective visual quality. Code is available at \url{https://github.com/GitCVfb/CVR}.
• Abstract（参考訳）: ローリングシャッター(RS)カメラの普及により、2つの連続したRSフレームから潜伏するグローバルシャッター(GS)ビデオの回収がますます魅力的になり、リアリズムへの需要も高まっている。 ディープニューラルネットワークや最適化を使用した既存のソリューションは、有望なパフォーマンスを実現する。 しかし、これらの手法は、必然的にブラックホールや顕著な運動アーティファクトをもたらすRSモデルに基づく画像ワープにより、中間GSフレームを生成する。 本稿では,文脈認識型gsビデオ再構成アーキテクチャを提案することで,これらの問題を緩和する。 これは排他的推論、運動補償、時間的抽象といった利点を促進する。 具体的には、まず2つのRSフレームの画素が共通のGSフレームに一致するように左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,任意の時間で高忠実度GSビデオフレームを生成する改良手法を提案する。 さらに, 関連タスクに対して, 単純かつ効果的なGSフレーム初期化を提供するための代替として機能する, 近似された両側運動場モデルも導出する。 合成データと実データを用いた実験により, 客観的指標と主観的視覚品質の観点から, 最先端手法よりも優れた性能が得られることを示した。 コードは \url{https://github.com/GitCVfb/CVR} で入手できる。

関連論文リスト

• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive [56.70381414277253]
  デュアルRS歪み補正のための自己教師型学習フレームワーク(SelfDRSC)を提案する。 DRSCネットワークは、逆歪みを持つデュアルRS画像のみに基づいて、高いフレームレートGS映像を生成することができる。 実世界のRSのケースでは、SelfDRSCはより微細な補正テクスチャとより優れた一時的な一貫性を備えたフレームレートのハイテクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-31T13:55:00Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Combining Internal and External Constraints for Unrolling Shutter in Videos [10.900978946948095]
  本稿では,RS問題に対する時空間解を提案する。 我々は、RSビデオとその対応するGSビデオが、既知のサブフレームの時間シフトまで、全く同じxtスライスを共有する傾向があることを観察する。 これにより、RS入力ビデオによって課されるビデオ固有の制約を使用してGS出力ビデオを制限することができる。
  論文  参考訳（メタデータ） (2022-07-24T12:01:27Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。