論文の概要: UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation

• arxiv url: http://arxiv.org/abs/2305.15078v2
• Date: Thu, 11 Jul 2024 01:31:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-13 00:07:09.746695
• Title: UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation
• Title（参考訳）: UniINR:イベント誘導型統一圧延シャッター補正、デブロアリング、補間
• Authors: Yunfan LU, Guoqiang Liang, Yusheng Wang, Lin Wang, Hui Xiong,
• Abstract要約: 高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。 我々は、RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する、UniINRという新しい手法を提案する。 提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 高効率であり, RSブラーフレームの31倍のフレームレートで2.83ms/frameを実現している。
• 参考スコア（独自算出の注目度）: 20.866360240444426
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Video frames captured by rolling shutter (RS) cameras during fast camera movement frequently exhibit RS distortion and blur simultaneously. Naturally, recovering high-frame-rate global shutter (GS) sharp frames from an RS blur frame must simultaneously consider RS correction, deblur, and frame interpolation. A naive way is to decompose the whole process into separate tasks and cascade existing methods; however, this results in cumulative errors and noticeable artifacts. Event cameras enjoy many advantages, e.g., high temporal resolution, making them potential for our problem. To this end, we propose the first and novel approach, named UniINR, to recover arbitrary frame-rate sharp GS frames from an RS blur frame and paired events. Our key idea is unifying spatial-temporal implicit neural representation (INR) to directly map the position and time coordinates to color values to address the interlocking degradations. Specifically, we introduce spatial-temporal implicit encoding (STE) to convert an RS blur image and events into a spatial-temporal representation (STR). To query a specific sharp frame (GS or RS), we embed the exposure time into STR and decode the embedded features pixel-by-pixel to recover a sharp frame. Our method features a lightweight model with only 0.38M parameters, and it also enjoys high inference efficiency, achieving 2.83ms/frame in 31 times frame interpolation of an RS blur frame. Extensive experiments show that our method significantly outperforms prior methods. Code is available at https://github.com/yunfanLu/UniINR.
• Abstract（参考訳）: 高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。 当然、RSブラーフレームから高フレームレートのグローバルシャッター(GS)シャープフレームを復元するには、RS補正、デブロア、フレーム補間を同時に考慮する必要がある。 単純な方法は、プロセス全体を別々のタスクに分解し、既存のメソッドをカスケードすることである。 イベントカメラには、高時間分解能などの多くの利点があり、この問題の可能性を秘めている。 そこで本研究では,RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する,UniINRという新しい手法を提案する。 私たちのキーとなるアイデアは、空間的時間的暗黙的ニューラル表現(INR)を統一して、位置と時間座標を直接色値にマッピングし、インターロックの劣化に対処することです。 具体的には、空間時空間暗黙符号化(STE)を導入し、RSのぼやけた画像やイベントを空間時空間表現(STR)に変換する。 特定のシャープフレーム(GSまたはRS)を問合せするために、露光時間をSTRに埋め込んで、埋め込みされた特徴をピクセル単位でデコードしてシャープフレームを復元する。 提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 推論効率も高く, RSブラーフレームの31倍のフレーム補間で2.83ms/frameを実現している。 実験結果から,本手法は従来手法よりも有意に優れていたことが判明した。 コードはhttps://github.com/yunfanLu/UniINR.comで入手できる。

関連論文リスト

• Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement [83.60486465697318]
  本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-10-29T09:09:32Z)
• An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
  本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。 提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-03T12:37:59Z)
• Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames [6.62974666987451]
  本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-27T14:30:25Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。