論文の概要: TimeReplayer: Unlocking the Potential of Event Cameras for Video
Interpolation
- arxiv url: http://arxiv.org/abs/2203.13859v1
- Date: Fri, 25 Mar 2022 18:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 05:45:36.760477
- Title: TimeReplayer: Unlocking the Potential of Event Cameras for Video
Interpolation
- Title(参考訳): TimeReplayer:ビデオ補間のためのイベントカメラの可能性を解き放つ
- Authors: Weihua He, Kaichao You, Zhendong Qiao, Xu Jia, Ziyang Zhang, Wenhui
Wang, Huchuan Lu, Yaoyuan Wang, Jianxing Liao
- Abstract要約: イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。
本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 78.99283105497489
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recording fast motion in a high FPS (frame-per-second) requires expensive
high-speed cameras. As an alternative, interpolating low-FPS videos from
commodity cameras has attracted significant attention. If only low-FPS videos
are available, motion assumptions (linear or quadratic) are necessary to infer
intermediate frames, which fail to model complex motions. Event camera, a new
camera with pixels producing events of brightness change at the temporal
resolution of $\mu s$ $(10^{-6}$ second $)$, is a game-changing device to
enable video interpolation at the presence of arbitrarily complex motion. Since
event camera is a novel sensor, its potential has not been fulfilled due to the
lack of processing algorithms. The pioneering work Time Lens introduced event
cameras to video interpolation by designing optical devices to collect a large
amount of paired training data of high-speed frames and events, which is too
costly to scale. To fully unlock the potential of event cameras, this paper
proposes a novel TimeReplayer algorithm to interpolate videos captured by
commodity cameras with events. It is trained in an unsupervised
cycle-consistent style, canceling the necessity of high-speed training data and
bringing the additional ability of video extrapolation. Its state-of-the-art
results and demo videos in supplementary reveal the promising future of
event-based vision.
- Abstract(参考訳): 高速動作を高速fps(フレーム毎秒)で記録するには、高価な高速カメラが必要である。
代替として、コモディティカメラからの低FPSビデオの補間が注目されている。
低FPSビデオのみが利用可能であれば、中間フレームを推論するためには運動仮定(線形または二次)が必要である。
イベントカメラは、時間分解能の$\mu s$(10^{-6}$ second $)$の時間分解能で明るさ変化のイベントを発生するピクセルを備えた新しいカメラである。
イベントカメラは、新しいセンサーであるため、処理アルゴリズムの欠如により、そのポテンシャルは満たされていない。
先駆的な仕事であるTime Lensは、高速フレームとイベントの大量のペアトレーニングデータを収集するために光学デバイスを設計することで、ビデオ補間にイベントカメラを導入した。
本稿では,イベントカメラの可能性をフルに解き放つために,コモディティカメラが捉えた映像とイベントを補間するTimeReplayerアルゴリズムを提案する。
教師なしのサイクル一貫性のスタイルで訓練され、高速なトレーニングデータの必要性を解消し、ビデオ外挿のさらなる能力をもたらす。
最新の成果と補足的なデモビデオは、イベントベースのビジョンの有望な未来を明らかにしている。
関連論文リスト
- Investigating Event-Based Cameras for Video Frame Interpolation in Sports [59.755469098797406]
本稿では,スポーツスローモーションビデオを生成するためのイベントベースビデオフレーム補間(VFI)モデルについて検討する。
特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。
実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。
論文 参考訳(メタデータ) (2024-07-02T15:39:08Z) - TimeRewind: Rewinding Time with Image-and-Events Video Diffusion [10.687722181495065]
本稿では,シャッターボタンが押される直前に欠落したフリーティングモーメントを回復するために,単一のキャプチャ画像からタイムを巻き戻すという,新たな課題について述べる。
我々は、時間分解能の高いモーション情報をキャプチャするニューロモルフィックイベントカメラの新興技術を活用することで、この課題を克服する。
提案フレームワークは,イベントカメラデータに基づくイベントモーションアダプタを導入し,この拡散モデルを用いて,キャプチャしたイベントに視覚的に整合性を持ち,物理的に接地した映像を生成する。
論文 参考訳(メタデータ) (2024-03-20T17:57:02Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - EGVD: Event-Guided Video Deraining [57.59935209162314]
本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。
雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
論文 参考訳(メタデータ) (2023-09-29T13:47:53Z) - EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot
Perception [1.3869227429939426]
イベントカメラは、高時間分解能と広いダイナミックレンジで視覚情報をキャプチャする。
イベントカメラストリーム上の現在の畳み込みニューラルネットワーク推論は、イベントカメラが動作している高速で、現在リアルタイムの推論を実行できない。
本稿では,イベントカメラからの入力に対して,CNN上で高速な推論を可能にする新しいアプローチであるEvConvを提案する。
論文 参考訳(メタデータ) (2023-03-08T15:47:13Z) - Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
論文 参考訳(メタデータ) (2023-01-12T18:19:00Z) - Event-guided Deblurring of Unknown Exposure Time Videos [31.992673443516235]
イベントカメラは、高時間分解能で見かけの動きを捉えることができる。
本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。
本手法は最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-13T19:46:17Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳(メタデータ) (2021-12-02T12:13:56Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳(メタデータ) (2021-11-30T23:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。