論文の概要: Rolling Shutter Correction with Intermediate Distortion Flow Estimation

• arxiv url: http://arxiv.org/abs/2404.06350v1
• Date: Tue, 9 Apr 2024 14:40:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:21:03.573514
• Title: Rolling Shutter Correction with Intermediate Distortion Flow Estimation
• Title（参考訳）: 中間変形流推定による転がりシャッター補正
• Authors: Mingdeng Cao, Sidi Yang, Yujiu Yang, Yinqiang Zheng,
• Abstract要約: 本稿では,グローバルシャッタ(GS)からRSへの歪み流を直接推定することにより,ローリングシャッタ(RS)歪み画像を補正することを提案する。 既存の手法は通常、RSからGSへの非歪流を用いて補正を行う。 本稿では,歪み流を直接推定し,後方ワープ操作でRS像を補正する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 55.59359977619609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes to correct the rolling shutter (RS) distorted images by estimating the distortion flow from the global shutter (GS) to RS directly. Existing methods usually perform correction using the undistortion flow from the RS to GS. They initially predict the flow from consecutive RS frames, subsequently rescaling it as the displacement fields from the RS frame to the underlying GS image using time-dependent scaling factors. Following this, RS-aware forward warping is employed to convert the RS image into its GS counterpart. Nevertheless, this strategy is prone to two shortcomings. First, the undistortion flow estimation is rendered inaccurate by merely linear scaling the flow, due to the complex non-linear motion nature. Second, RS-aware forward warping often results in unavoidable artifacts. To address these limitations, we introduce a new framework that directly estimates the distortion flow and rectifies the RS image with the backward warping operation. More specifically, we first propose a global correlation-based flow attention mechanism to estimate the initial distortion flow and GS feature jointly, which are then refined by the following coarse-to-fine decoder layers. Additionally, a multi-distortion flow prediction strategy is integrated to mitigate the issue of inaccurate flow estimation further. Experimental results validate the effectiveness of the proposed method, which outperforms state-of-the-art approaches on various benchmarks while maintaining high efficiency. The project is available at \url{https://github.com/ljzycmd/DFRSC}.
• Abstract（参考訳）: 本稿では,グローバルシャッタ(GS)からRSへの歪み流を直接推定することにより,ローリングシャッタ(RS)歪み画像を補正することを提案する。 既存の手法は通常、RSからGSへの非歪流を用いて補正を行う。 彼らは最初、連続したRSフレームからのフローを予測し、その後、時間依存のスケーリング因子を用いてRSフレームから基礎となるGSイメージへの変位場として再スケーリングした。 その後、RS画像からGS画像に変換するためにRS対応前方ワープが使用される。 しかし、この戦略は2つの欠点がある。 まず、複雑な非線形運動の性質のため、フローを単に線形にスケーリングすることで、非歪フロー推定が不正確になる。 第2に、RS対応のフォワード・ワープは、しばしば避けられないアーティファクトをもたらす。 これらの制約に対処するために,歪み流を直接推定し,後方ワープ操作でRS画像を補正する新しいフレームワークを導入する。 具体的には,まず大域的相関に基づくフローアテンション機構を提案し,初期歪み流とGS特徴を共同で推定し,その後,以下の粗いデコーダ層によって洗練する。 さらに,不正確な流量推定の問題を緩和するために,多変量流予測戦略を統合した。 提案手法の有効性を実験的に検証し, 高い効率性を維持しつつ, 各種ベンチマークにおける最先端手法より優れていることを示した。 このプロジェクトは \url{https://github.com/ljzycmd/DFRSC} で入手できる。

関連論文リスト

• Deep Linear Array Pushbroom Image Restoration: A Degradation Pipeline and Jitter-Aware Restoration Network [26.86292926584254]
  リニアアレイプッシュブルーム(LAP)イメージング技術はリモートセンシングの領域で広く利用されている。 点拡散関数(PSF)を推定するアルゴリズムなど、従来のLAP画像の復元手法は、限られた性能を示す。 本稿では,2段階の歪みとぼかしを除去するjitter-Aware Restoration Network (JARNet)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T07:26:26Z)
• Flow Guidance Deformable Compensation Network for Video Frame Interpolation [33.106776459443275]
  既存の動きに基づく手法の欠点を克服するため,フローガイダンス変形補償ネットワーク(FGDCN)を提案する。 FGDCNは、フレームサンプリングプロセスをフローステップと変形ステップの2つのステップに分解する。 実験結果から,提案アルゴリズムはパラメータが少ない各種データセットに対して優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2022-11-22T09:35:14Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Learning Adaptive Warping for Real-World Rolling Shutter Correction [52.45689075940234]
  本稿では,実世界のローリングシャッター(RS)補正データセットであるBS-RSCと,歪みビデオ中のRSフレームを補正するための対応するモデルを提案する。 ビデオキャプチャ用のCMOSベースのセンサを備えたコンシューマ市場のモバイルデバイスは、ビデオ取得プロセス中に相対的な動きが発生した場合、ローリングシャッター効果をもたらすことが多い。
  論文  参考訳（メタデータ） (2022-04-29T05:13:50Z)
• Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature [89.57742172078454]
  ローリングシャッター(RS)画像センサは、撮影中にカメラや物体が動き出すとき、幾何学的歪みに悩まされる。 本稿では,ローリングシャッターとグローバルリセット機能(RSGR)を用いて,クリーンなグローバルシャッター(GS)ビデオの復元を行う。 この機能により、修正問題をデブロアのようなものにし、不正確でコストのかかる運動推定をなくすことができる。
  論文  参考訳（メタデータ） (2022-04-03T02:49:28Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。