論文の概要: Learning INR for Event-guided Rolling Shutter Frame Correction, Deblur,
and Interpolation
- arxiv url: http://arxiv.org/abs/2305.15078v1
- Date: Wed, 24 May 2023 11:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:07:22.190526
- Title: Learning INR for Event-guided Rolling Shutter Frame Correction, Deblur,
and Interpolation
- Title（参考訳）: イベント誘導型シャッターフレーム補正, 欠陥, 補間のためのINR学習
- Authors: Yunfan Lu, Guoqiang Liang, Lin Wang
- Abstract要約: 高速カメラ動作下でローリングシャッター(RS)によって撮影された画像は、しばしば明らかな画像歪みとぼやけを含む。
暗黙の符号化(STE)を導入し、RSのぼやけた画像やイベントを時空間表現(STR)に変換する。
本手法は,タスクの1つないし2つだけに対処する先行手法を著しく上回っている。
- 参考スコア（独自算出の注目度）: 6.62974666987451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Images captured by rolling shutter (RS) cameras under fast camera motion
often contain obvious image distortions and blur, which can be modeled as a
row-wise combination of a sequence of global shutter (GS) frames within the
exposure time naturally, recovering high-frame-rate GS sharp frames from an RS
blur image needs to simultaneously consider RS correction, deblur, and frame
interpolation Taking this task is nontrivial, and to our knowledge, no feasible
solutions exist by far. A naive way is to decompose the complete process into
separate tasks and simply cascade existing methods; however, this results in
cumulative errors and noticeable artifacts. Event cameras enjoy many
advantages, e.g., high temporal resolution, making them potential for our
problem. To this end, we make the first attempt to recover high-frame-rate
sharp GS frames from an RS blur image and paired event data. Our key idea is to
learn an implicit neural representation (INR) to directly map the position and
time coordinates to RGB values to address the interlocking degradations in the
image restoration process. Specifically, we introduce spatial-temporal implicit
encoding (STE) to convert an RS blur image and events into a spatial-temporal
representation (STR). To query a specific sharp frame (GS or RS), we embed the
exposure time into STR and decode the embedded features to recover a sharp
frame. Moreover, we propose an RS blur image-guided integral loss to better
train the network. Our method is relatively lightweight as it contains only
0.379M parameters and demonstrates high efficiency as the STE is called only
once for any number of interpolation frames. Extensive experiments show that
our method significantly outperforms prior methods addressing only one or two
of the tasks.
- Abstract（参考訳）: 高速カメラ動作下でのローリングシャッター(RS)カメラで捉えた画像は、しばしば明らかな画像歪みやぼやけを伴い、露光時間内にグローバルシャッター(GS)フレーム列の行ワイドな組み合わせとしてモデル化され、RSぼやけ画像から高フレームレートのGSシャープフレームを復元するには、RS補正、デブロワー、フレーム補間を同時に考慮する必要がある。
単純な方法は、完全なプロセスを別々のタスクに分解し、既存のメソッドをカスケードすることですが、結果として累積エラーと目に見えるアーティファクトが発生します。
イベントカメラには、高時間分解能などの多くの利点があり、この問題の可能性を秘めている。
この目的のために,rsボケ画像とペアイベントデータから高フレームのシャープgsフレームを回収する最初の試みを行う。
我々のキーとなるアイデアは、暗黙の神経表現(INR)を学び、位置と時間座標を直接RGB値にマッピングし、画像復元プロセスにおけるロックの劣化に対処することです。
具体的には、空間時空間暗黙符号化(STE)を導入し、RSのぼやけた画像やイベントを空間時空間表現(STR)に変換する。
特定のシャープフレーム(GSまたはRS)を問合せするために、露光時間をSTRに埋め込んで、埋め込み特徴をデコードしてシャープフレームを復元する。
さらに、ネットワークのトレーニングを改善するために、RSぼかし画像誘導積分損失を提案する。
本手法は0.379Mのパラメータしか含まないため比較的軽量であり,STEは任意の数の補間フレームに対してのみ1回のみ呼び出されるため,高い効率を示す。
実験の結果,本手法は1～2つのタスクに対処する先行手法よりも有意に優れていた。
関連論文リスト
- Video Frame Interpolation with Many-to-many Splatting and Spatial
Selective Refinement [83.60486465697318]
本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。
入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
論文 参考訳（メタデータ） (2023-10-29T09:09:32Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - Self-supervised Learning of Event-guided Video Frame Interpolation for
Rolling Shutter Frames [6.62974666987451]
本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。
本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-27T14:30:25Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳（メタデータ） (2023-03-31T15:09:18Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳（メタデータ） (2022-03-12T14:57:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。