論文の概要: Learning Adaptive Warping for Real-World Rolling Shutter Correction

• arxiv url: http://arxiv.org/abs/2204.13886v1
• Date: Fri, 29 Apr 2022 05:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 14:42:47.815645
• Title: Learning Adaptive Warping for Real-World Rolling Shutter Correction
• Title（参考訳）: 実世界転がりシャッター補正のための適応ワープ学習
• Authors: Mingdeng Cao, Zhihang Zhong, Jiahao Wang, Yinqiang Zheng, Yujiu Yang
• Abstract要約: 本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
• 参考スコア（独自算出の注目度）: 52.45689075940234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes the first real-world rolling shutter (RS) correction dataset, BS-RSC, and a corresponding model to correct the RS frames in a distorted video. Mobile devices in the consumer market with CMOS-based sensors for video capture often result in rolling shutter effects when relative movements occur during the video acquisition process, calling for RS effect removal techniques. However, current state-of-the-art RS correction methods often fail to remove RS effects in real scenarios since the motions are various and hard to model. To address this issue, we propose a real-world RS correction dataset BS-RSC. Real distorted videos with corresponding ground truth are recorded simultaneously via a well-designed beam-splitter-based acquisition system. BS-RSC contains various motions of both camera and objects in dynamic scenes. Further, an RS correction model with adaptive warping is proposed. Our model can warp the learned RS features into global shutter counterparts adaptively with predicted multiple displacement fields. These warped features are aggregated and then reconstructed into high-quality global shutter frames in a coarse-to-fine strategy. Experimental results demonstrate the effectiveness of the proposed method, and our dataset can improve the model's ability to remove the RS effects in the real world.
• Abstract（参考訳）: 本稿では, 実世界のローリングシャッター補正データセットであるBS-RSCと, 歪み映像中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャのためのCMOSベースのセンサーを備えた消費者市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生するとローリングシャッター効果が生じ、RSエフェクト除去技術が要求される。 しかし,現状のrs補正法は,動作が多様でモデル化が困難であるため,実際のシナリオではrs効果を除去できないことが多い。 そこで本研究では,実世界のRS補正データセットBS-RSCを提案する。 ビームスプリッターベースの取得システムにより、対応する地上真理を持つ実歪み映像を同時に記録する。 BS-RSCはダイナミックシーンにおけるカメラとオブジェクトの両方のさまざまな動きを含んでいる。 さらに,適応ウォーピングを用いたrs補正モデルを提案する。 我々のモデルは、学習したRS特徴を予測された複数の変位場と適応的にグローバルシャッターにワープすることができる。 これらの歪んだ特徴を集約し、粗大な戦略で高品質なグローバルシャッターフレームに再構成する。 実験の結果,提案手法の有効性が示され,我々のデータセットは実世界のRS効果を除去するモデルの能力を向上させることができる。

関連論文リスト

• SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction [72.05587640928879]
  二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T08:17:22Z)
• Single Image Rolling Shutter Removal with Diffusion Models [46.57721145372241]
  単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。 本研究では,イメージ・トゥ・モーションの枠組みを,パッチ・アテンション・モジュールを設計した拡散技術を用いて提示する。 さらに,得られたRSフレームと,対応するGlobal Shutter(GS)地対からなるRS-Realデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-03T08:25:02Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• Deep network for rolling shutter rectification [25.170821013431958]
  単一画像RS補正の課題に対して,エンド・ツー・エンドのディープニューラルネットワークを提案する。 本ネットワークは, 移動ブロック, 軌道モジュール, 行ブロック, RS修正モジュール, RS再生モジュールで構成される。 合成データセットと実データセットの実験では、ネットワークは定性的にも定量的にも、先行技術より優れています。
  論文  参考訳（メタデータ） (2021-12-12T06:40:34Z)
• Continuous-Time Spatiotemporal Calibration of a Rolling Shutter Camera---IMU System [8.201100713224003]
  シャッター(RS)機構は、スマートフォンや自動運転車に不可欠な、コンシューマグレードのカメラで広く使用されている。 この研究は、カメラ-IMUシステムを例に挙げ、その時間的キャリブレーションにおけるRS効果を考察する。
  論文  参考訳（メタデータ） (2021-08-16T16:09:22Z)
• Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes [45.663838355778786]
  CMOSカメラでは、回転シャッター補正とデブロアリング(RSCD)技術が重要である。 動的シーンにおける ego-motion と object-motion の両方を含む最初のデータセット bs-rscd をコントリビュートする。 ビームスプリッターベースの取得システムを介して、実際の歪曲およびぼやけた映像を同時に記録する。
  論文  参考訳（メタデータ） (2021-04-04T12:36:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。