論文の概要: Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature

• arxiv url: http://arxiv.org/abs/2204.00974v1
• Date: Sun, 3 Apr 2022 02:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 15:32:57.370326
• Title: Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature
• Title（参考訳）: neural global shutter:グローバルリセット機能を備えたローリングシャッターカメラからビデオの復元を学ぶ
• Authors: Zhixiang Wang, Xiang Ji, Jia-Bin Huang, Shin'ichi Satoh, Xiao Zhou and Yinqiang Zheng
• Abstract要約: ローリングシャッター(RS)画像センサは、撮影中にカメラや物体が動き出すとき、幾何学的歪みに悩まされる。 本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。 この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。
• 参考スコア（独自算出の注目度）: 89.57742172078454
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most computer vision systems assume distortion-free images as inputs. The widely used rolling-shutter (RS) image sensors, however, suffer from geometric distortion when the camera and object undergo motion during capture. Extensive researches have been conducted on correcting RS distortions. However, most of the existing work relies heavily on the prior assumptions of scenes or motions. Besides, the motion estimation steps are either oversimplified or computationally inefficient due to the heavy flow warping, limiting their applicability. In this paper, we investigate using rolling shutter with a global reset feature (RSGR) to restore clean global shutter (GS) videos. This feature enables us to turn the rectification problem into a deblur-like one, getting rid of inaccurate and costly explicit motion estimation. First, we build an optic system that captures paired RSGR/GS videos. Second, we develop a novel algorithm incorporating spatial and temporal designs to correct the spatial-varying RSGR distortion. Third, we demonstrate that existing image-to-image translation algorithms can recover clean GS videos from distorted RSGR inputs, yet our algorithm achieves the best performance with the specific designs. Our rendered results are not only visually appealing but also beneficial to downstream tasks. Compared to the state-of-the-art RS solution, our RSGR solution is superior in both effectiveness and efficiency. Considering it is easy to realize without changing the hardware, we believe our RSGR solution can potentially replace the RS solution in taking distortion-free videos with low noise and low budget.
• Abstract（参考訳）: ほとんどのコンピュータビジョンシステムは歪みのない画像を入力とする。 しかし、広く使われているローリングシャッター(rs)イメージセンサーは、撮影中にカメラや物体が動き出すと幾何学的歪みが発生する。 rs歪みの補正に関する広範な研究が行われている。 しかし、既存の作品の多くは、シーンや動きの前提に大きく依存している。 さらに、運動推定ステップは、重い流れのワープによって過度に単純化されるか、計算的に非効率である。 本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。 この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。 まず、ペアのrsgr/gsビデオをキャプチャする光学システムを構築する。 第2に,空間変動rsgr歪みを補正するための空間的および時間的設計を組み込んだ新しいアルゴリズムを開発した。 第3に,既存の画像から画像への変換アルゴリズムは,歪んだRSGR入力からクリーンなGSビデオを復元できることを示した。 私たちの成果は視覚的に魅力的なだけでなく、下流のタスクにも有益です。 最先端のRSGRソリューションと比較して,我々のRSGRソリューションは有効性と効率の両面で優れている。 ハードウェアを変更することなく容易に実現できることを考えると、当社のRSGRソリューションは、歪みのない動画を低ノイズで低予算で撮影するRSGRソリューションを置き換えることができると信じている。

関連論文リスト

• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• DeblurGS: Gaussian Splatting for Camera Motion Blur [45.13521168573883]
  動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。 我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。 提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
  論文  参考訳（メタデータ） (2024-04-17T13:14:52Z)
• Rolling Shutter Correction with Intermediate Distortion Flow Estimation [55.59359977619609]
  本稿では,グローバルシャッタ(GS)からRSへの歪み流を直接推定することにより,ローリングシャッタ(RS)歪み画像を補正することを提案する。 既存の手法は通常、RSからGSへの非歪流を用いて補正を行う。 本稿では,歪み流を直接推定し,後方ワープ操作でRS像を補正する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-09T14:40:54Z)
• Toward Efficient Visual Gyroscopes: Spherical Moments, Harmonics Filtering, and Masking Techniques for Spherical Camera Applications [83.8743080143778]
  視覚ジャイロスコープは、画像を通してカメラの回転を推定する。 従来のRGBカメラに比べて視野が広い全方位カメラの統合は、より正確で堅牢な結果をもたらすことが証明されている。 本稿では,効率的なマルチマスク・フィルタ回転エステータと学習に基づく最適化を組み合わせた,新しい視覚ジャイロスコープを導入することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-04-02T13:19:06Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Revisiting Rolling Shutter Bundle Adjustment: Toward Accurate and Fast Solution [6.317266060165099]
  本研究では,ローリングシャッター(RS)カメラを用いて,カメラの6-DoFポーズと環境形状を推定し,ロバストで高速なバンドル調整ソリューションを提案する。 これは、センサーの追加、フレームレートの高い動画の入力、カメラの動きに対する制限的な仮定、読み出し方向、効率の低下など、既存の作業の課題に対処する。
  論文  参考訳（メタデータ） (2022-09-18T08:21:07Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。