論文の概要: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
- arxiv url: http://arxiv.org/abs/2306.15507v2
- Date: Tue, 03 Jun 2025 11:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:08.810858
- Title: Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
- Title（参考訳）: 転がりシャッターフレームのためのイベント誘導ビデオフレーム補間の自己教師付き学習
- Authors: Yunfan Lu, Guoqiang Liang, Yiran Shen, Lin Wang,
- Abstract要約: イベントカメラは時間分解能が高い。
RS歪みを伴わないグローバルシャッター(GS)高フレームレートビデオの再生フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 7.448238372345631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most consumer cameras use rolling shutter (RS) exposure, which often leads to distortions such as skew and jelly effects. These videos are further limited by bandwidth and frame rate constraints. In this paper, we explore the potential of event cameras, which offer high temporal resolution. We propose a framework to recover global shutter (GS) high-frame-rate videos without RS distortion by combining an RS camera and an event camera. Due to the lack of real-world datasets, our framework adopts a self-supervised strategy based on a displacement field, a dense 3D spatiotemporal representation of pixel motion during exposure. This enables mutual reconstruction between RS and GS frames and facilitates slow-motion recovery. We combine RS frames with the displacement field to generate GS frames, and integrate inverse mapping and RS frame warping for self-supervision. Experiments on four datasets show that our method removes distortion, reduces bandwidth usage by 94 percent, and achieves 16 ms per frame at 32x interpolation.
- Abstract（参考訳）: ほとんどの消費者向けカメラはローリングシャッター(RS)露出を使用し、スキューやゼリー効果などの歪みを引き起こすことが多い。
これらのビデオは帯域幅とフレームレートの制約によってさらに制限されている。
本稿では,時間分解能の高いイベントカメラの可能性について検討する。
本研究では,RSカメラとイベントカメラを組み合わせることで,RS歪みを伴わないグローバルシャッター(GS)高フレームレート映像を復元するフレームワークを提案する。
実世界のデータセットが不足しているため、我々のフレームワークは、露出中の画素の動きの高密度な3次元時空間表現である変位場に基づく自己教師型戦略を採用している。
これにより、RSフレームとGSフレームの相互再構成が可能となり、スローモーションリカバリが容易となる。
我々は、RSフレームを変位場と組み合わせてGSフレームを生成し、逆写像とRSフレームのワープを統合する。
4つのデータセットの実験により,本手法は歪みを除去し,帯域幅を94%削減し,32倍の補間で1フレームあたり16ミリ秒を実現した。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [72.60992807941885]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Single Image Rolling Shutter Removal with Diffusion Models [36.31682988720935]
単フレーム転がりシャッター(RS)補正のための最初の拡散モデルに基づく手法であるRS-Diffusionを提案する。
そこで本研究では,パッチアテンションモジュールを設計した拡散技術を用いて,イメージ・トゥ・モーションのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-03T08:25:02Z) - UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation [20.866360240444426]
高速カメラ移動中にローリングシャッター(RS)カメラで捉えたビデオフレームは、RS歪みとぼやけを同時に示している。
我々は、RSぼけフレームとペアイベントから任意のフレームレートのシャープGSフレームを復元する、UniINRという新しい手法を提案する。
提案手法は, パラメータ0.38Mしか持たない軽量モデルであり, 高効率であり, RSブラーフレームの31倍のフレームレートで2.83ms/frameを実現している。
論文 参考訳（メタデータ） (2023-05-24T11:57:03Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。
我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
論文 参考訳（メタデータ） (2022-09-23T04:25:19Z) - Combining Internal and External Constraints for Unrolling Shutter in
Videos [10.900978946948095]
本稿では,RS問題に対する時空間解を提案する。
我々は、RSビデオとその対応するGSビデオが、既知のサブフレームの時間シフトまで、全く同じxtスライスを共有する傾向があることを観察する。
これにより、RS入力ビデオによって課されるビデオ固有の制約を使用してGS出力ビデオを制限することができる。
論文 参考訳（メタデータ） (2022-07-24T12:01:27Z) - Context-Aware Video Reconstruction for Rolling Shutter Cameras [52.28710992548282]
本稿では,文脈対応のGSビデオ再構成アーキテクチャを提案する。
まず、2つのRSフレームの画素が共通のGSフレームに歪むように、左右の運動場を推定する。
そこで,両面閉塞マスクとともにGSフレーム合成を誘導し,高忠実度GSビデオフレームを生成するための改良手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:05:47Z) - Bringing Rolling Shutter Images Alive with Dual Reversed Distortion [75.78003680510193]
ローリングシャッター(RS)歪みは、時間とともにインスタントグローバルシャッター(GS)フレームから一列のピクセルを選択した結果であると解釈することができる。
我々は、RS時間における速度場の反復学習を通して、デュアル光流列を生成するための新しいエンド・ツー・エンドモデルIFEDを開発した。
論文 参考訳（メタデータ） (2022-03-12T14:57:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。