論文の概要: Neural Global Shutter: Learn to Restore Video from a Rolling Shutter
Camera with Global Reset Feature
- arxiv url: http://arxiv.org/abs/2204.00974v1
- Date: Sun, 3 Apr 2022 02:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 15:32:57.370326
- Title: Neural Global Shutter: Learn to Restore Video from a Rolling Shutter
Camera with Global Reset Feature
- Title(参考訳): neural global shutter:グローバルリセット機能を備えたローリングシャッターカメラからビデオの復元を学ぶ
- Authors: Zhixiang Wang, Xiang Ji, Jia-Bin Huang, Shin'ichi Satoh, Xiao Zhou and
Yinqiang Zheng
- Abstract要約: ローリングシャッター(RS)画像センサは、撮影中にカメラや物体が動き出すとき、幾何学的歪みに悩まされる。
本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。
この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。
- 参考スコア(独自算出の注目度): 89.57742172078454
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most computer vision systems assume distortion-free images as inputs. The
widely used rolling-shutter (RS) image sensors, however, suffer from geometric
distortion when the camera and object undergo motion during capture. Extensive
researches have been conducted on correcting RS distortions. However, most of
the existing work relies heavily on the prior assumptions of scenes or motions.
Besides, the motion estimation steps are either oversimplified or
computationally inefficient due to the heavy flow warping, limiting their
applicability. In this paper, we investigate using rolling shutter with a
global reset feature (RSGR) to restore clean global shutter (GS) videos. This
feature enables us to turn the rectification problem into a deblur-like one,
getting rid of inaccurate and costly explicit motion estimation. First, we
build an optic system that captures paired RSGR/GS videos. Second, we develop a
novel algorithm incorporating spatial and temporal designs to correct the
spatial-varying RSGR distortion. Third, we demonstrate that existing
image-to-image translation algorithms can recover clean GS videos from
distorted RSGR inputs, yet our algorithm achieves the best performance with the
specific designs. Our rendered results are not only visually appealing but also
beneficial to downstream tasks. Compared to the state-of-the-art RS solution,
our RSGR solution is superior in both effectiveness and efficiency. Considering
it is easy to realize without changing the hardware, we believe our RSGR
solution can potentially replace the RS solution in taking distortion-free
videos with low noise and low budget.
- Abstract(参考訳): ほとんどのコンピュータビジョンシステムは歪みのない画像を入力とする。
しかし、広く使われているローリングシャッター(rs)イメージセンサーは、撮影中にカメラや物体が動き出すと幾何学的歪みが発生する。
rs歪みの補正に関する広範な研究が行われている。
しかし、既存の作品の多くは、シーンや動きの前提に大きく依存している。
さらに、運動推定ステップは、重い流れのワープによって過度に単純化されるか、計算的に非効率である。
本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。
この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。
まず、ペアのrsgr/gsビデオをキャプチャする光学システムを構築する。
第2に,空間変動rsgr歪みを補正するための空間的および時間的設計を組み込んだ新しいアルゴリズムを開発した。
第3に,既存の画像から画像への変換アルゴリズムは,歪んだRSGR入力からクリーンなGSビデオを復元できることを示した。
私たちの成果は視覚的に魅力的なだけでなく、下流のタスクにも有益です。
最先端のRSGRソリューションと比較して,我々のRSGRソリューションは有効性と効率の両面で優れている。
ハードウェアを変更することなく容易に実現できることを考えると、当社のRSGRソリューションは、歪みのない動画を低ノイズで低予算で撮影するRSGRソリューションを置き換えることができると信じている。
関連論文リスト
- DFR: Depth from Rotation by Uncalibrated Image Rectification with
Latitudinal Motion Assumption [6.369764116066747]
そこで我々は,非校正回転カメラのための新しい画像補正ソリューションDfRを提案する。
具体的には、カメラが一定の緯度で球上で回転するときに回転するカメラの動きをモデル化する。
2点解析解法は2つの画像の修正変換を直接計算することから導かれる。
論文 参考訳(メタデータ) (2023-07-11T09:11:22Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳(メタデータ) (2023-03-31T15:09:18Z) - Retrospective Motion Correction in Gradient Echo MRI by Explicit Motion
Estimation Using Deep CNNs [0.0]
深部畳み込み神経回路網(深部CNN)を用いた動きアーチファクトの補正手法を提案する。
我々は、Deep CNNを用いて、より複雑な運動場に剛性運動補償の概念を一般化できることを示した。
論文 参考訳(メタデータ) (2023-03-30T09:16:13Z) - RAGO: Recurrent Graph Optimizer For Multiple Rotation Averaging [62.315673415889314]
本稿では,複数回転平均化(MRA)のための深部繰り返し回転平均化グラフ(RAGO)を提案する。
我々のフレームワークは、実世界のアプリケーションに小さなサイズでデプロイされた、リアルタイムに学習から最適化するローテーション平均化グラフである。
論文 参考訳(メタデータ) (2022-12-14T13:19:40Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2022-10-06T16:47:12Z) - Revisiting Rolling Shutter Bundle Adjustment: Toward Accurate and Fast
Solution [6.317266060165099]
本研究では,ローリングシャッター(RS)カメラを用いて,カメラの6-DoFポーズと環境形状を推定し,ロバストで高速なバンドル調整ソリューションを提案する。
これは、センサーの追加、フレームレートの高い動画の入力、カメラの動きに対する制限的な仮定、読み出し方向、効率の低下など、既存の作業の課題に対処する。
論文 参考訳(メタデータ) (2022-09-18T08:21:07Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:05:47Z) - Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。
ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
論文 参考訳(メタデータ) (2022-04-29T05:13:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。