論文の概要: Single Image Rolling Shutter Removal with Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.02906v1
• Date: Wed, 3 Jul 2024 08:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:05:39.426953
• Title: Single Image Rolling Shutter Removal with Diffusion Models
• Title（参考訳）: 拡散モデルによる単一画像転がりシャッター除去
• Authors: Zhanglei Yang, Haipeng Li, Mingbo Hong, Bing Zeng, Shuaicheng Liu,
• Abstract要約: 単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。 本研究では,イメージ・トゥ・モーションの枠組みを,パッチ・アテンション・モジュールを設計した拡散技術を用いて提示する。 さらに,得られたRSフレームと,対応するGlobal Shutter(GS)地対からなるRS-Realデータセットを提案する。
• 参考スコア（独自算出の注目度）: 46.57721145372241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present RS-Diffusion, the first Diffusion Models-based method for single-frame Rolling Shutter (RS) correction. RS artifacts compromise visual quality of frames due to the row wise exposure of CMOS sensors. Most previous methods have focused on multi-frame approaches, using temporal information from consecutive frames for the motion rectification. However, few approaches address the more challenging but important single frame RS correction. In this work, we present an ``image-to-motion'' framework via diffusion techniques, with a designed patch-attention module. In addition, we present the RS-Real dataset, comprised of captured RS frames alongside their corresponding Global Shutter (GS) ground-truth pairs. The GS frames are corrected from the RS ones, guided by the corresponding Inertial Measurement Unit (IMU) gyroscope data acquired during capture. Experiments show that our RS-Diffusion surpasses previous single RS correction methods. Our method and proposed RS-Real dataset lay a solid foundation for advancing the field of RS correction.
• Abstract（参考訳）: 単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。 RSアーティファクトはCMOSセンサの行ワイズ露光によってフレームの視覚的品質を損なう。 従来の手法のほとんどは、連続したフレームからの時間情報を用いて動きの修正を行うマルチフレームアプローチに重点を置いている。 しかし、より難しいが重要な単一フレームRS補正に対処するアプローチはほとんどない。 本研究では,<image-to-motion'フレームワークを,パッチアテンションモジュールを設計した拡散技術を用いて提案する。 さらに,得られたRSフレームと,対応するGlobal Shutter(GS)地対からなるRS-Realデータセットを提案する。 GSフレームはRSフレームから修正され、キャプチャ中に取得された対応する慣性計測ユニット(IMU)ジャイロデータによってガイドされる。 実験の結果, RS拡散は従来のRS補正法を上回ることがわかった。 提案手法とRS-Realデータセットは,RS補正の分野を前進させるための基盤となる。

関連論文リスト

• Rolling Shutter Correction with Intermediate Distortion Flow Estimation [55.59359977619609]
  本稿では,グローバルシャッタ(GS)からRSへの歪み流を直接推定することにより,ローリングシャッタ(RS)歪み画像を補正することを提案する。 既存の手法は通常、RSからGSへの非歪流を用いて補正を行う。 本稿では,歪み流を直接推定し,後方ワープ操作でRS像を補正する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-09T14:40:54Z)
• URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields [46.186869281594326]
  ニューラルレイディアンスフィールド(NeRF)のための新しいローリングシャッター束調整法を提案する。 我々は、無秩序なローリングシャッター(RS)画像を用いて、暗黙の3D表現を得る。
  論文  参考訳（メタデータ） (2024-03-15T09:08:27Z)
• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• Deep network for rolling shutter rectification [25.170821013431958]
  単一画像RS補正の課題に対して,エンド・ツー・エンドのディープニューラルネットワークを提案する。 本ネットワークは, 移動ブロック, 軌道モジュール, 行ブロック, RS修正モジュール, RS再生モジュールで構成される。 合成データセットと実データセットの実験では、ネットワークは定性的にも定量的にも、先行技術より優れています。
  論文  参考訳（メタデータ） (2021-12-12T06:40:34Z)
• Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes [45.663838355778786]
  CMOSカメラでは、回転シャッター補正とデブロアリング(RSCD)技術が重要である。 動的シーンにおける ego-motion と object-motion の両方を含む最初のデータセット bs-rscd をコントリビュートする。 ビームスプリッターベースの取得システムを介して、実際の歪曲およびぼやけた映像を同時に記録する。
  論文  参考訳（メタデータ） (2021-04-04T12:36:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。