論文の概要: Combining Internal and External Constraints for Unrolling Shutter in
Videos
- arxiv url: http://arxiv.org/abs/2207.11725v1
- Date: Sun, 24 Jul 2022 12:01:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 14:43:02.341010
- Title: Combining Internal and External Constraints for Unrolling Shutter in
Videos
- Title（参考訳）: ビデオのロールングシャッターに対する内部制約と外部制約の組合せ
- Authors: Eyal Naor and Itai Antebi and Shai Bagon and Michal Irani
- Abstract要約: 本稿では,RS問題に対する時空間解を提案する。
我々は、RSビデオとその対応するGSビデオが、既知のサブフレームの時間シフトまで、全く同じxtスライスを共有する傾向があることを観察する。
これにより、RS入力ビデオによって課されるビデオ固有の制約を使用してGS出力ビデオを制限することができる。
- 参考スコア（独自算出の注目度）: 10.900978946948095
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Videos obtained by rolling-shutter (RS) cameras result in spatially-distorted
frames. These distortions become significant under fast camera/scene motions.
Undoing effects of RS is sometimes addressed as a spatial problem, where
objects need to be rectified/displaced in order to generate their correct
global shutter (GS) frame. However, the cause of the RS effect is inherently
temporal, not spatial. In this paper we propose a space-time solution to the RS
problem. We observe that despite the severe differences between their xy
frames, a RS video and its corresponding GS video tend to share the exact same
xt slices -- up to a known sub-frame temporal shift. Moreover, they share the
same distribution of small 2D xt-patches, despite the strong temporal aliasing
within each video. This allows to constrain the GS output video using
video-specific constraints imposed by the RS input video. Our algorithm is
composed of 3 main components: (i) Dense temporal upsampling between
consecutive RS frames using an off-the-shelf method, (which was trained on
regular video sequences), from which we extract GS "proposals". (ii) Learning
to correctly merge an ensemble of such GS "proposals" using a dedicated
MergeNet. (iii) A video-specific zero-shot optimization which imposes the
similarity of xt-patches between the GS output video and the RS input video.
Our method obtains state-of-the-art results on benchmark datasets, both
numerically and visually, despite being trained on a small synthetic RS/GS
dataset. Moreover, it generalizes well to new complex RS videos with motion
types outside the distribution of the training set (e.g., complex non-rigid
motions) -- videos which competing methods trained on much more data cannot
handle well. We attribute these generalization capabilities to the combination
of external and internal constraints.
- Abstract（参考訳）: ローリングシャッター(RS)カメラで撮影した映像は空間的に歪んだフレームとなる。
これらの歪みは、高速カメラ/シーン動作で顕著になる。
RSのアンドーイング効果は、正しいグローバルシャッター(GS)フレームを生成するために、オブジェクトを修正/置換する必要がある空間問題として扱われることがある。
しかし、rs効果の原因は本質的に時間的であり、空間的ではない。
本稿では,RS問題に対する時空間解を提案する。
それらのxyフレーム間の大きな違いにもかかわらず、RSビデオとその対応するGSビデオは、既知のサブフレームの時間シフトまで、全く同じxtスライスを共有する傾向にある。
さらに、それぞれのビデオ内で強い時間的エイリアスにもかかわらず、小さな2D xt-パッチの同じ分布を共有している。
これにより、RS入力ビデオによって課されるビデオ固有の制約を使用してGS出力ビデオを制限することができる。
我々のアルゴリズムは3つの主成分から成り立っている。
i) 通常のビデオシーケンスで訓練したオフ・ザ・シェルフ法を用いて, 連続RSフレーム間の高密度時間的アップサンプリングを行い, GSの「プロソサル」を抽出した。
(ii)専用のマージネットを用いて、そのようなgs「プロポサール」のアンサンブルを正しくマージする学習。
(iii)gs出力映像とrs入力映像とのxtパッチの類似性を課す映像特異的ゼロショット最適化。
本手法は,小さな合成rs/gsデータセット上で訓練されたにもかかわらず,数値的および視覚的にベンチマークデータセットの最先端結果を得る。
さらに、トレーニングセットの配布外のモーションタイプ(例えば、複雑な非剛体モーション)を持つ新しい複雑なRSビデオ(例えば、より多くのデータでトレーニングされた競合メソッドがうまく扱えないビデオ)を一般化する。
これらの一般化能力は、外部制約と内部制約の組み合わせによるものである。
関連論文リスト
- UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation [20.866360240444426]
高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。
我々は、RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する、UniINRという新しい手法を提案する。
提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 高効率であり, RSブラーフレームの31倍のフレームレートで2.83ms/frameを実現している。
論文 参考訳（メタデータ） (2023-05-24T11:57:03Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳（メタデータ） (2023-03-31T15:09:18Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - VideoINR: Learning Video Implicit Neural Representation for Continuous
Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。
本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-06-09T17:45:49Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳（メタデータ） (2022-03-12T14:57:49Z) - Across Scales & Across Dimensions: Temporal Super-Resolution using Deep
Internal Learning [11.658606722158517]
我々は、低フレームの入力ビデオから直接抽出した例に基づいて、ビデオ固有のCNNを訓練する。
提案手法は,単一ビデオシーケンス内の小さな時空間パッチの強い再帰性を利用する。
ビデオフレームの高解像度化は、そのビデオの時間分解能を高めるための強力な例を提供する。
論文 参考訳（メタデータ） (2020-03-19T15:53:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。