論文の概要: SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction

• arxiv url: http://arxiv.org/abs/2408.11411v1
• Date: Wed, 21 Aug 2024 08:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:59:43.084822
• Title: SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction
• Title（参考訳）: SelfDRSC++: デュアルリバース転がりシャッター補正のための自己教師付き学習
• Authors: Wei Shang, Dongwei Ren, Wanying Zhang, Qilong Wang, Pengfei Zhu, Wangmeng Zuo,
• Abstract要約: 二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 72.05587640928879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern consumer cameras commonly employ the rolling shutter (RS) imaging mechanism, via which images are captured by scanning scenes row-by-row, resulting in RS distortion for dynamic scenes. To correct RS distortion, existing methods adopt a fully supervised learning manner that requires high framerate global shutter (GS) images as ground-truth for supervision. In this paper, we propose an enhanced Self-supervised learning framework for Dual reversed RS distortion Correction (SelfDRSC++). Firstly, we introduce a lightweight DRSC network that incorporates a bidirectional correlation matching block to refine the joint optimization of optical flows and corrected RS features, thereby improving correction performance while reducing network parameters. Subsequently, to effectively train the DRSC network, we propose a self-supervised learning strategy that ensures cycle consistency between input and reconstructed dual reversed RS images. The RS reconstruction in SelfDRSC++ can be interestingly formulated as a specialized instance of video frame interpolation, where each row in reconstructed RS images is interpolated from predicted GS images by utilizing RS distortion time maps. By achieving superior performance while simplifying the training process, SelfDRSC++ enables feasible one-stage self-supervised training. Additionally, besides start and end RS scanning time, SelfDRSC++ allows supervision of GS images at arbitrary intermediate scanning times, thus enabling the learned DRSC network to generate high framerate GS videos. The code and trained models are available at \url{https://github.com/shangwei5/SelfDRSC_plusplus}.
• Abstract（参考訳）: 現代の消費者向けカメラでは、ローリングシャッター(RS)撮像機構が一般的であり、これによりダイナミックなシーンに対してRS歪みが生じる。 RS歪みを補正するために、既存の手法では、高いフレームレート・グローバル・シャッター(GS)画像を必要とする完全に教師付き学習方式を採用している。 本稿では,Dual reversed RS distortion Correction (SelfDRSC++) のための自己教師型学習フレームワークを提案する。 まず、双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し、光学流の結合最適化とRS特性の補正を行い、ネットワークパラメータの低減と補正性能の向上を図る。 その後、DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。 SelfDRSC++におけるRS再構成は、ビデオフレーム補間の特別な例として、RS歪み時間マップを利用して、予測されたGS画像から再構成されたRS画像の各行を補間する。 トレーニングプロセスを簡素化しながら優れたパフォーマンスを実現することで、SelfDRSC++は実行可能なワンステージの自己教師型トレーニングを可能にする。 さらに、開始と終了のRSスキャン時間に加えて、SelfDRSC++は任意の中間走査時間でGS画像の監視を可能にするため、学習したDRSCネットワークは高いフレームレートGSビデオを生成することができる。 コードとトレーニングされたモデルは、 \url{https://github.com/shangwei5/SelfDRSC_plus} で入手できる。

関連論文リスト

• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive [56.70381414277253]
  デュアルRS歪み補正のための自己教師型学習フレームワーク(SelfDRSC)を提案する。 DRSCネットワークは、逆歪みを持つデュアルRS画像のみに基づいて、高いフレームレートGS映像を生成することができる。 実世界のRSのケースでは、SelfDRSCはより微細な補正テクスチャとより優れた一時的な一貫性を備えたフレームレートのハイテクビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-31T13:55:00Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes [45.663838355778786]
  CMOSカメラでは、回転シャッター補正とデブロアリング(RSCD)技術が重要である。 動的シーンにおける ego-motion と object-motion の両方を含む最初のデータセット bs-rscd をコントリビュートする。 ビームスプリッターベースの取得システムを介して、実際の歪曲およびぼやけた映像を同時に記録する。
  論文  参考訳（メタデータ） (2021-04-04T12:36:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。