論文の概要: Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video

• arxiv url: http://arxiv.org/abs/2210.03040v1
• Date: Thu, 6 Oct 2022 16:47:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 17:05:00.913408
• Title: Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video
• Title（参考訳）: ローリングシャッターのインバージョン:ローリングシャッター画像を高フレームレートのグローバルシャッタービデオに
• Authors: Bin Fan, Yuchao Dai and Hongdong Li
• Abstract要約: 本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 111.08121952640766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A single rolling-shutter (RS) image may be viewed as a row-wise combination of a sequence of global-shutter (GS) images captured by a (virtual) moving GS camera within the exposure duration. Although RS cameras are widely used, the RS effect causes obvious image distortion especially in the presence of fast camera motion, hindering downstream computer vision tasks. In this paper, we propose to invert the RS image capture mechanism, i.e., recovering a continuous high framerate GS video from two time-consecutive RS frames. We call this task the RS temporal super-resolution (RSSR) problem. The RSSR is a very challenging task, and to our knowledge, no practical solution exists to date. This paper presents a novel deep-learning based solution. By leveraging the multi-view geometry relationship of the RS imaging process, our learning-based framework successfully achieves high framerate GS generation. Specifically, three novel contributions can be identified: (i) novel formulations for bidirectional RS undistortion flows under constant velocity as well as constant acceleration motion model. (ii) a simple linear scaling operation, which bridges the RS undistortion flow and regular optical flow. (iii) a new mutual conversion scheme between varying RS undistortion flows that correspond to different scanlines. Our method also exploits the underlying spatial-temporal geometric relationships within a deep learning framework, where no additional supervision is required beyond the necessary middle-scanline GS image. Building upon these contributions, we represent the very first rolling-shutter temporal super-resolution deep-network that is able to recover high framerate GS videos from just two RS frames. Extensive experimental results on both synthetic and real data show that our proposed method can produce high-quality GS image sequences with rich details, outperforming the state-of-the-art methods.
• Abstract（参考訳）: 単一のローリングシャッター(RS)画像は、露光期間内に(仮想)移動GSカメラによって撮影されたグローバルシャッター(GS)画像の行ワイドな組み合わせと見なすことができる。 RSカメラは広く使われているが、RS効果は特に高速カメラモーションの存在下で画像の歪みを生じさせ、下流のコンピュータビジョンタスクを妨げている。 本稿では,2つの時間連続RSフレームから連続した高フレームレートGS映像を復元するRS画像キャプチャ機構を逆転する手法を提案する。 我々はこのタスクをRS時間超解像(RSSR)問題と呼ぶ。 RSSRは非常に難しいタスクであり、私たちの知る限り、現在まで実践的な解決策はありません。 本稿では,新しいディープラーニングソリューションを提案する。 ラーニングベースフレームワークは,RSイメージングプロセスの多視点幾何関係を利用して,高いフレームレートGS生成を実現する。 具体的には、3つの新しい貢献が特定できる。 (i)一定速度下での双方向rs非変形流の新規定式化と定常加速度運動モデル (ii)rs非歪流と正則光流を橋渡しする単純な線形スケーリング操作。 (iii)異なるスキャンラインに対応するrs非歪流間の新たな相互変換スキーム。 また,本手法は深層学習フレームワークにおける空間的・時間的関係を生かし,必要な中間走査GS画像以外の追加の監督を必要としない。 これらの貢献に基づいて、2つのRSフレームから高フレームのGSビデオを復元できる、最初の時空超解像ディープネットワークを表現した。 合成データと実データの両方に対する大規模な実験結果から,提案手法は高精細な高品質なGS画像系列を生成できることを示す。

関連論文リスト

• SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction [72.05587640928879]
  二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T08:17:22Z)
• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive [56.70381414277253]
  デュアルRS歪み補正のための自己教師型学習フレームワーク(SelfDRSC)を提案する。 DRSCネットワークは、逆歪みを持つデュアルRS画像のみに基づいて、高いフレームレートGS映像を生成することができる。 実世界のRSのケースでは、SelfDRSCはより微細な補正テクスチャとより優れた一時的な一貫性を備えたフレームレートのハイテクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-31T13:55:00Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。