論文の概要: Deep network for rolling shutter rectification

• arxiv url: http://arxiv.org/abs/2112.06170v1
• Date: Sun, 12 Dec 2021 06:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 13:36:46.912977
• Title: Deep network for rolling shutter rectification
• Title（参考訳）: 転がりシャッター整流のためのディープネットワーク
• Authors: Praveen K, Lokesh Kumar T, and A.N. Rajagopalan
• Abstract要約: 単一画像RS補正の課題に対して,エンド・ツー・エンドのディープニューラルネットワークを提案する。 本ネットワークは, 移動ブロック, 軌道モジュール, 行ブロック, RS修正モジュール, RS再生モジュールで構成される。 合成データセットと実データセットの実験では、ネットワークは定性的にも定量的にも、先行技術より優れています。
• 参考スコア（独自算出の注目度）: 25.170821013431958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CMOS sensors employ row-wise acquisition mechanism while imaging a scene, which can result in undesired motion artifacts known as rolling shutter (RS) distortions in the captured image. Existing single image RS rectification methods attempt to account for these distortions by either using algorithms tailored for specific class of scenes which warrants information of intrinsic camera parameters or a learning-based framework with known ground truth motion parameters. In this paper, we propose an end-to-end deep neural network for the challenging task of single image RS rectification. Our network consists of a motion block, a trajectory module, a row block, an RS rectification module and an RS regeneration module (which is used only during training). The motion block predicts camera pose for every row of the input RS distorted image while the trajectory module fits estimated motion parameters to a third-order polynomial. The row block predicts the camera motion that must be associated with every pixel in the target i.e, RS rectified image. Finally, the RS rectification module uses motion trajectory and the output of row block to warp the input RS image to arrive at a distortionfree image. For faster convergence during training, we additionally use an RS regeneration module which compares the input RS image with the ground truth image distorted by estimated motion parameters. The end-to-end formulation in our model does not constrain the estimated motion to ground-truth motion parameters, thereby successfully rectifying the RS images with complex real-life camera motion. Experiments on synthetic and real datasets reveal that our network outperforms prior art both qualitatively and quantitatively.
• Abstract（参考訳）: CMOSセンサはシーンを撮像しながら行ワイズ取得機構を採用しており、キャプチャされた画像のローリングシャッター(RS)歪みと呼ばれる望ましくない動きアーチファクトをもたらす可能性がある。 既存の画像RS補正手法は、固有のカメラパラメータに関する情報を保証する特定の種類のシーンに合わせたアルゴリズムや、既知の真理運動パラメータを持つ学習ベースのフレームワークを用いて、これらの歪みを考慮しようとする。 本稿では,単一画像RS補正の課題に対して,エンドツーエンドのディープニューラルネットワークを提案する。 私たちのネットワークは、モーションブロック、軌道モジュール、行ブロック、rs整流モジュール、rs再生モジュール(トレーニング中のみ使用される)で構成されています。 モーションブロックは入力rs歪み画像の各行ごとにカメラポーズを予測し、軌道モジュールは推定された動きパラメータを3階多項式に適合させる。 行ブロックは、ターゲット内の各ピクセル、すなわちRS補正画像に関連付けられなければならないカメラの動きを予測する。 最後に、RS補正モジュールは、動作軌跡と行ブロックの出力を用いて入力されたRS画像を歪みのない画像に出力する。 学習中の収束を高速化するために,入力rs画像と推定運動パラメータで歪曲した基底真理画像を比較したrs再生モジュールを用いる。 本モデルにおけるエンド・ツー・エンドの定式化は、推定した動きを地動パラメータに制約せず、複雑な実写カメラモーションでRS画像の修正に成功した。 合成データと実データを用いた実験により,ネットワークが質的かつ定量的に先行技術を上回ることが明らかとなった。

関連論文リスト

• SelfDRSC++: Self-Supervised Learning for Dual Reversed Rolling Shutter Correction [72.05587640928879]
  二重反転RS歪み補正(SelfDRSC++)のための自己教師付き学習フレームワークを提案する。 双方向相関マッチングブロックを組み込んだ軽量DRSCネットワークを導入し,光学流の結合最適化とRS特性の補正を行う。 DRSCネットワークを効果的に訓練するために、入力と再構成された二重逆RS画像間のサイクル整合性を保証する自己教師付き学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T08:17:22Z)
• Single Image Rolling Shutter Removal with Diffusion Models [46.57721145372241]
  単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。 本研究では,イメージ・トゥ・モーションの枠組みを,パッチ・アテンション・モジュールを設計した拡散技術を用いて提示する。 さらに,得られたRSフレームと,対応するGlobal Shutter(GS)地対からなるRS-Realデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-03T08:25:02Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Data Consistent Deep Rigid MRI Motion Correction [9.551748050454378]
  運動アーティファクトはMRIの広範にわたる問題であり、人口レベルの画像研究において誤診や誤認を引き起こす。 現在の反射型剛性運動補正技術は、画像と運動パラメータの推定を共同で最適化する。 本稿では,厳密な動きパラメータのみを探索するために,深層ネットワークを用いて共同動画像パラメータ探索を削減した。
  論文  参考訳（メタデータ） (2023-01-25T00:21:31Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。