論文の概要: Learning INR for Event-guided Rolling Shutter Frame Correction, Deblur, and Interpolation

• arxiv url: http://arxiv.org/abs/2305.15078v1
• Date: Wed, 24 May 2023 11:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 16:07:22.190526
• Title: Learning INR for Event-guided Rolling Shutter Frame Correction, Deblur, and Interpolation
• Title（参考訳）: イベント誘導型シャッターフレーム補正, 欠陥, 補間のためのINR学習
• Authors: Yunfan Lu, Guoqiang Liang, Lin Wang
• Abstract要約: 高速カメラ動作下でローリングシャッター(RS)によって撮影された画像は、しばしば明らかな画像歪みとぼやけを含む。 暗黙の符号化(STE)を導入し、RSのぼやけた画像やイベントを時空間表現(STR)に変換する。 本手法は,タスクの1つないし2つだけに対処する先行手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 6.62974666987451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Images captured by rolling shutter (RS) cameras under fast camera motion often contain obvious image distortions and blur, which can be modeled as a row-wise combination of a sequence of global shutter (GS) frames within the exposure time naturally, recovering high-frame-rate GS sharp frames from an RS blur image needs to simultaneously consider RS correction, deblur, and frame interpolation Taking this task is nontrivial, and to our knowledge, no feasible solutions exist by far. A naive way is to decompose the complete process into separate tasks and simply cascade existing methods; however, this results in cumulative errors and noticeable artifacts. Event cameras enjoy many advantages, e.g., high temporal resolution, making them potential for our problem. To this end, we make the first attempt to recover high-frame-rate sharp GS frames from an RS blur image and paired event data. Our key idea is to learn an implicit neural representation (INR) to directly map the position and time coordinates to RGB values to address the interlocking degradations in the image restoration process. Specifically, we introduce spatial-temporal implicit encoding (STE) to convert an RS blur image and events into a spatial-temporal representation (STR). To query a specific sharp frame (GS or RS), we embed the exposure time into STR and decode the embedded features to recover a sharp frame. Moreover, we propose an RS blur image-guided integral loss to better train the network. Our method is relatively lightweight as it contains only 0.379M parameters and demonstrates high efficiency as the STE is called only once for any number of interpolation frames. Extensive experiments show that our method significantly outperforms prior methods addressing only one or two of the tasks.
• Abstract（参考訳）: 高速カメラ動作下でのローリングシャッター(RS)カメラで捉えた画像は、しばしば明らかな画像歪みやぼやけを伴い、露光時間内にグローバルシャッター(GS)フレーム列の行ワイドな組み合わせとしてモデル化され、RSぼやけ画像から高フレームレートのGSシャープフレームを復元するには、RS補正、デブロワー、フレーム補間を同時に考慮する必要がある。 単純な方法は、完全なプロセスを別々のタスクに分解し、既存のメソッドをカスケードすることですが、結果として累積エラーと目に見えるアーティファクトが発生します。 イベントカメラには、高時間分解能などの多くの利点があり、この問題の可能性を秘めている。 この目的のために,rsボケ画像とペアイベントデータから高フレームのシャープgsフレームを回収する最初の試みを行う。 我々のキーとなるアイデアは、暗黙の神経表現(INR)を学び、位置と時間座標を直接RGB値にマッピングし、画像復元プロセスにおけるロックの劣化に対処することです。 具体的には、空間時空間暗黙符号化(STE)を導入し、RSのぼやけた画像やイベントを空間時空間表現(STR)に変換する。 特定のシャープフレーム(GSまたはRS)を問合せするために、露光時間をSTRに埋め込んで、埋め込み特徴をデコードしてシャープフレームを復元する。 さらに、ネットワークのトレーニングを改善するために、RSぼかし画像誘導積分損失を提案する。 本手法は0.379Mのパラメータしか含まないため比較的軽量であり,STEは任意の数の補間フレームに対してのみ1回のみ呼び出されるため,高い効率を示す。 実験の結果,本手法は1～2つのタスクに対処する先行手法よりも有意に優れていた。

関連論文リスト

• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [80.92538723551861]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,カーラRS,Fastec-RS,BS-RSCの各データセット上でPSNRの+4.98,+0.77,+4.33を超越する。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion [47.57998625129672]
  イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。 提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
  論文  参考訳（メタデータ） (2022-03-31T17:14:58Z)
• HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
  高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
  論文  参考訳（メタデータ） (2022-03-28T15:04:41Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。