論文の概要: Event-Based Frame Interpolation with Ad-hoc Deblurring
- arxiv url: http://arxiv.org/abs/2301.05191v1
- Date: Thu, 12 Jan 2023 18:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:35:53.275109
- Title: Event-Based Frame Interpolation with Ad-hoc Deblurring
- Title（参考訳）: アドホックデブリによるイベントベースフレーム補間
- Authors: Lei Sun, Christos Sakaridis, Jingyun Liang, Peng Sun, Jiezhang Cao,
Kai Zhang, Qi Jiang, Kaiwei Wang, Luc Van Gool
- Abstract要約: 本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
- 参考スコア（独自算出の注目度）: 68.97825675372354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of video frame interpolation is inherently correlated with
the ability to handle motion in the input scene. Even though previous works
recognize the utility of asynchronous event information for this task, they
ignore the fact that motion may or may not result in blur in the input video to
be interpolated, depending on the length of the exposure time of the frames and
the speed of the motion, and assume either that the input video is sharp,
restricting themselves to frame interpolation, or that it is blurry, including
an explicit, separate deblurring stage before interpolation in their pipeline.
We instead propose a general method for event-based frame interpolation that
performs deblurring ad-hoc and thus works both on sharp and blurry input
videos. Our model consists in a bidirectional recurrent network that naturally
incorporates the temporal dimension of interpolation and fuses information from
the input frames and the events adaptively based on their temporal proximity.
In addition, we introduce a novel real-world high-resolution dataset with
events and color videos named HighREV, which provides a challenging evaluation
setting for the examined task. Extensive experiments on the standard GoPro
benchmark and on our dataset show that our network consistently outperforms
previous state-of-the-art methods on frame interpolation, single image
deblurring and the joint task of interpolation and deblurring. Our code and
dataset will be made publicly available.
- Abstract（参考訳）: 映像フレーム補間の性能は、入力シーンにおける動きの処理能力と本質的に相関する。
以前の作業では非同期イベント情報の実用性が認識されていたが、フレームの露光時間の長さや動きの速度によって、動きが補間される入力ビデオのぼやけを生じさせるか無視し、入力ビデオがシャープでフレーム補間に制限されているか、あるいはパイプラインの補間前に明示的で分離した補間ステージを含むぼやけているかのどちらかを想定している。
代わりに,アドホックをデブラリングし,シャープでぼやけた入力ビデオで動作させる,イベントベースのフレーム補間法を提案する。
本モデルでは,相互補間の時間的次元を自然に取り入れ,入力フレームとイベントからの情報を時間的近接に基づいて適応的に融合する双方向リカレントネットワークを構成する。
さらに,イベントとカラービデオを備えた新しいリアルタイム高解像度データセットであるHighREVを導入し,その課題に対する挑戦的な評価設定を提供する。
GoProの標準ベンチマークとデータセットによる大規模な実験により、我々のネットワークはフレーム補間、単一画像の分解、補間と分解のジョイントタスクにおいて、常に最先端の手法を上回ります。
私たちのコードとデータセットは公開される予定だ。
関連論文リスト
- CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。
提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。
合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-04-28T12:13:34Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。
E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。
提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
論文 参考訳（メタデータ） (2022-09-19T21:40:32Z) - Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。
イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。
ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T03:43:12Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳（メタデータ） (2021-12-02T12:13:56Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。