論文の概要: Bringing Rolling Shutter Images Alive with Dual Reversed Distortion

• arxiv url: http://arxiv.org/abs/2203.06451v1
• Date: Sat, 12 Mar 2022 14:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 15:12:13.274036
• Title: Bringing Rolling Shutter Images Alive with Dual Reversed Distortion
• Title（参考訳）: 回転するシャッター画像に二重反転歪みをもたらす
• Authors: Zhihang Zhong, Mingdeng Cao, Xiao Sun, Zhirong Wu, Zhongyi Zhou, Yinqiang Zheng, Stephen Lin, Imari Sato
• Abstract要約: ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
• 参考スコア（独自算出の注目度）: 75.78003680510193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rolling shutter (RS) distortion can be interpreted as the result of picking a row of pixels from instant global shutter (GS) frames over time during the exposure of the RS camera. This means that the information of each instant GS frame is partially, yet sequentially, embedded into the row-dependent distortion. Inspired by this fact, we address the challenging task of reversing this process, i.e., extracting undistorted GS frames from images suffering from RS distortion. However, since RS distortion is coupled with other factors such as readout settings and the relative velocity of scene elements to the camera, models that only exploit the geometric correlation between temporally adjacent images suffer from poor generality in processing data with different readout settings and dynamic scenes with both camera motion and object motion. In this paper, instead of two consecutive frames, we propose to exploit a pair of images captured by dual RS cameras with reversed RS directions for this highly challenging task. Grounded on the symmetric and complementary nature of dual reversed distortion, we develop a novel end-to-end model, IFED, to generate dual optical flow sequence through iterative learning of the velocity field during the RS time. Extensive experimental results demonstrate that IFED is superior to naive cascade schemes, as well as the state-of-the-art which utilizes adjacent RS images. Most importantly, although it is trained on a synthetic dataset, IFED is shown to be effective at retrieving GS frame sequences from real-world RS distorted images of dynamic scenes.
• Abstract（参考訳）: ローリングシャッター(RS)歪みは、RSカメラの露出中に瞬時グローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 これは、各瞬時GSフレームの情報が部分的に、しかし順次、行依存の歪みに埋め込まれていることを意味する。 この事実に触発されて,RS歪みに苦しむ画像から非歪なGSフレームを抽出するといった,このプロセスの逆転という課題に対処する。 しかし、RS歪みは、読み出し設定やカメラに対するシーン要素の相対速度などの他の要因と結合しているため、時間的に隣接した画像間の幾何学的相関のみを利用するモデルは、読み出し設定が異なるデータや、カメラモーションとオブジェクトモーションの両方で動的シーンを処理する場合の一般性に乏しい。 本稿では,2つの連続するフレームの代わりに,2台のRSカメラで撮像した2枚の画像に逆RS方向を印加する手法を提案する。 双対逆歪の対称かつ相補的な性質を基礎として, rs時間中の速度場の反復学習により2重光流列を生成するための新しいエンドツーエンドモデルifedを開発した。 大規模な実験結果から,IFEDは,隣接したRS画像を利用した最先端技術と同様に,単純なカスケード方式よりも優れていることが示された。 最も重要なことは、合成データセットでトレーニングされているにもかかわらず、IFEDは実世界のRS歪み画像からGSフレームのシーケンスを取得するのに効果的であることを示している。

関連論文リスト

• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive [56.70381414277253]
  デュアルRS歪み補正のための自己教師型学習フレームワーク(SelfDRSC)を提案する。 DRSCネットワークは、逆歪みを持つデュアルRS画像のみに基づいて、高いフレームレートGS映像を生成することができる。 実世界のRSのケースでは、SelfDRSCはより微細な補正テクスチャとより優れた一時的な一貫性を備えたフレームレートのハイテクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-31T13:55:00Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Deep network for rolling shutter rectification [25.170821013431958]
  単一画像RS補正の課題に対して,エンド・ツー・エンドのディープニューラルネットワークを提案する。 本ネットワークは, 移動ブロック, 軌道モジュール, 行ブロック, RS修正モジュール, RS再生モジュールで構成される。 合成データセットと実データセットの実験では、ネットワークは定性的にも定量的にも、先行技術より優れています。
  論文  参考訳（メタデータ） (2021-12-12T06:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。