論文の概要: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames

• arxiv url: http://arxiv.org/abs/2306.15507v1
• Date: Tue, 27 Jun 2023 14:30:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 13:12:33.908057
• Title: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
• Title（参考訳）: イベント誘導ビデオフレーム補間によるシャッターフレームの自己教師型学習
• Authors: Yunfan Lu, Guoqiang Liang, Lin Wang
• Abstract要約: 本稿では、任意のフレームレート遅延グローバルシャッター(GS)フレームを2つの連続ローリングシャッター(RS)フレームから回収する難題に挑戦する最初の試みを行う。 本稿では,RSフレーム補正VFIを統一フレームワークでガイドするイベントを利用した,新たな自己教師型フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.62974666987451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper makes the first attempt to tackle the challenging task of recovering arbitrary frame rate latent global shutter (GS) frames from two consecutive rolling shutter (RS) frames, guided by the novel event camera data. Although events possess high temporal resolution, beneficial for video frame interpolation (VFI), a hurdle in tackling this task is the lack of paired GS frames. Another challenge is that RS frames are susceptible to distortion when capturing moving objects. To this end, we propose a novel self-supervised framework that leverages events to guide RS frame correction and VFI in a unified framework. Our key idea is to estimate the displacement field (DF) non-linear dense 3D spatiotemporal information of all pixels during the exposure time, allowing for the reciprocal reconstruction between RS and GS frames as well as arbitrary frame rate VFI. Specifically, the displacement field estimation (DFE) module is proposed to estimate the spatiotemporal motion from events to correct the RS distortion and interpolate the GS frames in one step. We then combine the input RS frames and DF to learn a mapping for RS-to-GS frame interpolation. However, as the mapping is highly under-constrained, we couple it with an inverse mapping (i.e., GS-to-RS) and RS frame warping (i.e., RS-to-RS) for self-supervision. As there is a lack of labeled datasets for evaluation, we generate two synthetic datasets and collect a real-world dataset to train and test our method. Experimental results show that our method yields comparable or better performance with prior supervised methods.
• Abstract（参考訳）: 本稿では,新しいイベントカメラデータによって誘導される2つのローリングシャッター(rs)フレームから任意のフレームレートの潜在グローバルシャッター(gs)フレームを回収するという課題に取り組む最初の試みを行う。 イベントは高時間分解能を持ち、ビデオフレーム補間(VFI)に有用であるが、このタスクに取り組むハードルは、ペア化されたGSフレームの欠如である。 もう1つの課題は、rsフレームが動く物体をキャプチャする際に歪みやすいことである。 そこで本研究では,イベントを利用してrsフレーム補正とvfiを統一フレームワークでガイドする,新しい自己教師付きフレームワークを提案する。 我々のキーとなる考え方は、露光時間中に全画素の非直線密度3次元時空間情報を推定し、RSフレームとGSフレームの相互再構成と任意のフレームレートVFIを可能にすることである。 具体的には、RS歪みを補正し、GSフレームを1ステップで補間するイベントから時空間運動を推定するために、変位場推定(DFE)モジュールを提案する。 次に入力rsフレームとdfを組み合わせてrs-to-gsフレーム補間のためのマッピングを学ぶ。 しかし、写像は非常に制約が低いため、自己超越のために逆写像(GS-to-RS)とRSフレームワープ(RS-to-RS)を結合する。 評価のためのラベル付きデータセットがないため、2つの合成データセットを生成し、実際のデータセットを収集して、メソッドをトレーニングし、テストする。 実験結果から,本手法は従来手法と同等あるいは優れた性能を示すことがわかった。

関連論文リスト

• UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation [20.866360240444426]
  高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。 我々は、RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する、UniINRという新しい手法を提案する。 提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 高効率であり, RSブラーフレームの31倍のフレームレートで2.83ms/frameを実現している。
  論文  参考訳（メタデータ） (2023-05-24T11:57:03Z)
• Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
  任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。 提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
  論文  参考訳（メタデータ） (2023-04-14T05:30:02Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
  本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。 具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。 FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
  論文  参考訳（メタデータ） (2022-09-23T04:25:19Z)
• Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
  本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。 まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。 そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:05:47Z)
• Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
  ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。 我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
  論文  参考訳（メタデータ） (2022-03-12T14:57:49Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。