論文の概要: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
- arxiv url: http://arxiv.org/abs/2306.15507v2
- Date: Tue, 03 Jun 2025 11:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:08.810858
- Title: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
- Title（参考訳）: 転がりシャッターフレームのためのイベント誘導ビデオフレーム補間の自己教師付き学習
- Authors: Yunfan Lu, Guoqiang Liang, Yiran Shen, Lin Wang,
- Abstract要約: イベントカメラは時間分解能が高い。
RS歪みを伴わないグローバルシャッター(GS)高フレームレートビデオの再生フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 7.448238372345631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most consumer cameras use rolling shutter (RS) exposure, which often leads to distortions such as skew and jelly effects. These videos are further limited by bandwidth and frame rate constraints. In this paper, we explore the potential of event cameras, which offer high temporal resolution. We propose a framework to recover global shutter (GS) high-frame-rate videos without RS distortion by combining an RS camera and an event camera. Due to the lack of real-world datasets, our framework adopts a self-supervised strategy based on a displacement field, a dense 3D spatiotemporal representation of pixel motion during exposure. This enables mutual reconstruction between RS and GS frames and facilitates slow-motion recovery. We combine RS frames with the displacement field to generate GS frames, and integrate inverse mapping and RS frame warping for self-supervision. Experiments on four datasets show that our method removes distortion, reduces bandwidth usage by 94 percent, and achieves 16 ms per frame at 32x interpolation.
- Abstract（参考訳）: ほとんどの消費者向けカメラはローリングシャッター(RS)露出を使用し、スキューやゼリー効果などの歪みを引き起こすことが多い。
これらのビデオは帯域幅とフレームレートの制約によってさらに制限されている。
本稿では,時間分解能の高いイベントカメラの可能性について検討する。
本研究では,RSカメラとイベントカメラを組み合わせることで,RS歪みを伴わないグローバルシャッター(GS)高フレームレート映像を復元するフレームワークを提案する。
実世界のデータセットが不足しているため、我々のフレームワークは、露出中の画素の動きの高密度な3次元時空間表現である変位場に基づく自己教師型戦略を採用している。
これにより、RSフレームとGSフレームの相互再構成が可能となり、スローモーションリカバリが容易となる。
我々は、RSフレームを変位場と組み合わせてGSフレームを生成し、逆写像とRSフレームのワープを統合する。
4つのデータセットの実験により,本手法は歪みを除去し,帯域幅を94%削減し,32倍の補間で1フレームあたり16ミリ秒を実現した。
関連論文リスト
- Single Image Rolling Shutter Removal with Diffusion Models [36.31682988720935]
単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。
そこで本研究では,パッチアテンションモジュールを設計した拡散技術を用いて,イメージ・トゥ・モーションのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-03T08:25:02Z) - UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation [20.866360240444426]
高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。
我々は、RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する、UniINRという新しい手法を提案する。
提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 高効率であり, RSブラーフレームの31倍のフレームレートで2.83ms/frameを実現している。
論文 参考訳（メタデータ） (2023-05-24T11:57:03Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。
我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
論文 参考訳（メタデータ） (2022-09-23T04:25:19Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳（メタデータ） (2022-03-12T14:57:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。