論文の概要: Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction

• arxiv url: http://arxiv.org/abs/2303.18125v2
• Date: Tue, 4 Apr 2023 01:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 10:39:22.385442
• Title: Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction
• Title（参考訳）: 非線形運動認識とオクルージョンローバスト転がりシャッタ補正に向けて
• Authors: Delin Qu, Yizhen Lao, Zhigang Wang, Dong Wang, Bin Zhao and Xuelong Li
• Abstract要約: 既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,カーラRS,Fastec-RS,BS-RSCの各データセット上でPSNRの+4.98,+0.77,+4.33を超越する。
• 参考スコア（独自算出の注目度）: 80.92538723551861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of rolling shutter correction in complex nonlinear and dynamic scenes with extreme occlusion. Existing methods suffer from two main drawbacks. Firstly, they face challenges in estimating the accurate correction field due to the uniform velocity assumption, leading to significant image correction errors under complex motion. Secondly, the drastic occlusion in dynamic scenes prevents current solutions from achieving better image quality because of the inherent difficulties in aligning and aggregating multiple frames. To tackle these challenges, we model the curvilinear trajectory of pixels analytically and propose a geometry-based Quadratic Rolling Shutter (QRS) motion solver, which precisely estimates the high-order correction field of individual pixel. Besides, to reconstruct high-quality occlusion frames in dynamic scenes, we present a 3D video architecture that effectively Aligns and Aggregates multi-frame context, namely, RSA^2-Net. We evaluate our method across a broad range of cameras and video sequences, demonstrating its significant superiority. Specifically, our method surpasses the state-of-the-arts by +4.98, +0.77, and +4.33 of PSNR on Carla-RS, Fastec-RS, and BS-RSC datasets, respectively.
• Abstract（参考訳）: 本稿では, 極端な閉塞を伴う複雑な非線形・動的シーンにおけるシャッター補正の問題に対処する。 既存の手法には2つの大きな欠点がある。 第一に、一様速度仮定による精度の補正場推定の課題に直面し、複雑な動きの下で画像補正誤差が顕著になる。 第2に、ダイナミックシーンにおける劇的な閉塞は、複数のフレームの調整と集約が本質的に困難であるため、現在のソリューションが画質向上を妨げている。 これらの課題に対処するために,画素の曲線軌道を解析的にモデル化し,各画素の高次補正場を正確に推定する2次回転シャッター(qrs)運動ソルバを提案する。 さらに,動的シーンにおける高品質なオクルージョンフレームを再構築するために,マルチフレームコンテキスト,すなわちRSA^2-Netを効果的にアライグし集約する3次元ビデオアーキテクチャを提案する。 提案手法を広範囲のカメラと映像シーケンスで評価し,その優位性を実証した。 具体的には,PSNRがCarla-RS,Fastec-RS,BS-RSCでそれぞれ+4.98,+0.77,+4.33を越えている。

関連論文リスト

• Neural Real-Time Recalibration for Infrared Multi-Camera Systems [2.249916681499244]
  赤外線マルチカメラシステムのリアルタイム再校正には、学習のない、あるいはニューラルネットワーク技術は存在しない。 動的リアルタイムキャリブレーションが可能なニューラルネットワークに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:37:37Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• Cinematic-L1 Video Stabilization with a Log-Homography Model [0.0]
  撮影者が撮影するカメラの動きを、三脚、人形、ステアディカムなどの装置でシミュレートする手持ちビデオの安定化方法を提案する。 提案手法は,iPhone XS上で300fpsで動作する計算効率が高く,高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-11-16T18:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。