論文の概要: Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive

• arxiv url: http://arxiv.org/abs/2305.19862v2
• Date: Mon, 11 Sep 2023 04:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 21:20:14.251299
• Title: Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive
• Title（参考訳）: デュアルリバース・ローリング・シャッター画像の自己教師型学習
• Authors: Wei Shang, Dongwei Ren, Chaoyu Feng, Xiaotao Wang, Lei Lei, Wangmeng Zuo
• Abstract要約: デュアルRS歪み補正のための自己教師型学習フレームワーク(SelfDRSC)を提案する。 DRSCネットワークは、逆歪みを持つデュアルRS画像のみに基づいて、高いフレームレートGS映像を生成することができる。 実世界のRSのケースでは、SelfDRSCはより微細な補正テクスチャとより優れた一時的な一貫性を備えたフレームレートのハイテクビデオを生成することができる。
• 参考スコア（独自算出の注目度）: 56.70381414277253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern consumer cameras usually employ the rolling shutter (RS) mechanism, where images are captured by scanning scenes row-by-row, yielding RS distortions for dynamic scenes. To correct RS distortions, existing methods adopt a fully supervised learning manner, where high framerate global shutter (GS) images should be collected as ground-truth supervision. In this paper, we propose a Self-supervised learning framework for Dual reversed RS distortions Correction (SelfDRSC), where a DRSC network can be learned to generate a high framerate GS video only based on dual RS images with reversed distortions. In particular, a bidirectional distortion warping module is proposed for reconstructing dual reversed RS images, and then a self-supervised loss can be deployed to train DRSC network by enhancing the cycle consistency between input and reconstructed dual reversed RS images. Besides start and end RS scanning time, GS images at arbitrary intermediate scanning time can also be supervised in SelfDRSC, thus enabling the learned DRSC network to generate a high framerate GS video. Moreover, a simple yet effective self-distillation strategy is introduced in self-supervised loss for mitigating boundary artifacts in generated GS images. On synthetic dataset, SelfDRSC achieves better or comparable quantitative metrics in comparison to state-of-the-art methods trained in the full supervision manner. On real-world RS cases, our SelfDRSC can produce high framerate GS videos with finer correction textures and better temporary consistency. The source code and trained models are made publicly available at https://github.com/shangwei5/SelfDRSC. We also provide an implementation in HUAWEI Mindspore at https://github.com/Hunter-Will/SelfDRSC-mindspore.
• Abstract（参考訳）: 現代の消費者向けカメラは通常ローリングシャッター(RS)機構を採用しており、ダイナミックなシーンに対してRS歪みを生じさせるシーンをスキャンすることで画像をキャプチャする。 rs歪みを補正するために、既存の手法では、高いフレームレートのグローバルシャッター(gs)画像を地上監視として収集する、完全に教師あり学習方式を採用している。 本稿では、Dual reversed RS distortions Correction (SelfDRSC) のための自己教師型学習フレームワークを提案する。 特に、二重逆RS画像の再構成のための双方向歪み補正モジュールを提案し、入力と再構成された二重逆RS画像間のサイクル整合性を高めてDRSCネットワークの訓練に自己監督的損失を展開できる。 開始と終了のRSスキャン時間に加えて、任意の中間走査時間におけるGS画像もSelfDRSCで管理できるため、学習したDRSCネットワークは高いフレームレートGSビデオを生成することができる。 さらに,生成したGS画像における境界アーチファクトの緩和を目的とした,簡易かつ効果的な自己蒸留戦略を導入する。 合成データセットにおいて、selfdrscは、完全な監視方法で訓練された最先端の手法と比較して、より良い、または同等の定量的指標を達成する。 実世界のRSのケースでは、より微細な補正テクスチャとより優れた一時的な一貫性を備えた高いフレームレートGSビデオを生成することができる。 ソースコードとトレーニングされたモデルはhttps://github.com/shangwei5/SelfDRSCで公開されている。 https://github.com/Hunter-Will/SelfDRSC-mindspore.comでHUAWEI Mindsporeの実装も提供します。

関連論文リスト

• SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction [72.05587640928879]
  二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T08:17:22Z)
• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。