論文の概要: Time Lens++: Event-based Frame Interpolation with Parametric Non-linear
Flow and Multi-scale Fusion
- arxiv url: http://arxiv.org/abs/2203.17191v1
- Date: Thu, 31 Mar 2022 17:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 15:47:20.055160
- Title: Time Lens++: Event-based Frame Interpolation with Parametric Non-linear
Flow and Multi-scale Fusion
- Title（参考訳）: Time Lens++:パラメトリック非線形流れとマルチスケール融合を用いたイベントベースフレーム補間
- Authors: Stepan Tulyakov, Alfredo Bochicchio, Daniel Gehrig, Stamatios
Georgoulis, Yuanyou Li, and Davide Scaramuzza
- Abstract要約: イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。
提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
- 参考スコア（独自算出の注目度）: 47.57998625129672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, video frame interpolation using a combination of frame- and
event-based cameras has surpassed traditional image-based methods both in terms
of performance and memory efficiency. However, current methods still suffer
from (i) brittle image-level fusion of complementary interpolation results,
that fails in the presence of artifacts in the fused image, (ii) potentially
temporally inconsistent and inefficient motion estimation procedures, that run
for every inserted frame and (iii) low contrast regions that do not trigger
events, and thus cause events-only motion estimation to generate artifacts.
Moreover, previous methods were only tested on datasets consisting of planar
and faraway scenes, which do not capture the full complexity of the real world.
In this work, we address the above problems by introducing multi-scale
feature-level fusion and computing one-shot non-linear inter-frame motion from
events and images, which can be efficiently sampled for image warping. We also
collect the first large-scale events and frames dataset consisting of more than
100 challenging scenes with depth variations, captured with a new experimental
setup based on a beamsplitter. We show that our method improves the
reconstruction quality by up to 0.2 dB in terms of PSNR and up to 15% in LPIPS
score.
- Abstract（参考訳）: 近年,フレームカメラとイベントベースカメラの組み合わせによるフレーム補間が,性能とメモリ効率の両面で従来の画像ベース手法を上回っている。
しかし、現在の方法はまだ苦しめられている。
(i)補間結果の脆性画像レベル融合は、融合画像中のアーティファクトの存在下では失敗する。
(ii)挿入フレーム毎に実行される時間的に不整合かつ非効率な動き推定手順
(iii)低コントラスト領域はイベントをトリガしないため、イベントのみの動作推定がアーチファクトを生成する。
さらに、以前の方法は、実世界の完全な複雑さを捉えない平面シーンと遠方シーンからなるデータセットでのみテストされた。
本研究では,マルチスケールな特徴量融合を導入し,イベントや画像からの非線形フレーム間移動を計算し,画像ウォーピングのために効率的にサンプリングすることで,上記の問題に対処する。
また,100以上のチャレンジシーンからなる大規模イベントとフレームのデータセットを収集し,ビームスプリッターに基づく新しい実験的なセットアップで収集した。
提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
関連論文リスト
- Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - Blur Interpolation Transformer for Real-World Motion from Blur [52.10523711510876]
本稿では, ボケの時間的相関を解き明かすために, 符号化されたブラー変換器(BiT)を提案する。
マルチスケール残留スウィン変圧器ブロックに基づいて、両端の時間的監督と時間対称なアンサンブル戦略を導入する。
さらに,1対1のぼやけたビデオペアの最初の実世界のデータセットを収集するハイブリッドカメラシステムを設計する。
論文 参考訳（メタデータ） (2022-11-21T13:10:10Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳（メタデータ） (2022-08-24T09:39:55Z) - Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。
イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。
ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T03:43:12Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。
本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2020-04-01T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。