論文の概要: TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation

• arxiv url: http://arxiv.org/abs/2203.13859v1
• Date: Fri, 25 Mar 2022 18:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 05:45:36.760477
• Title: TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation
• Title（参考訳）: TimeReplayer:ビデオ補間のためのイベントカメラの可能性を解き放つ
• Authors: Weihua He, Kaichao You, Zhendong Qiao, Xu Jia, Ziyang Zhang, Wenhui Wang, Huchuan Lu, Yaoyuan Wang, Jianxing Liao
• Abstract要約: イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。 本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 78.99283105497489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recording fast motion in a high FPS (frame-per-second) requires expensive high-speed cameras. As an alternative, interpolating low-FPS videos from commodity cameras has attracted significant attention. If only low-FPS videos are available, motion assumptions (linear or quadratic) are necessary to infer intermediate frames, which fail to model complex motions. Event camera, a new camera with pixels producing events of brightness change at the temporal resolution of $\mu s$ $(10^{-6}$ second $)$, is a game-changing device to enable video interpolation at the presence of arbitrarily complex motion. Since event camera is a novel sensor, its potential has not been fulfilled due to the lack of processing algorithms. The pioneering work Time Lens introduced event cameras to video interpolation by designing optical devices to collect a large amount of paired training data of high-speed frames and events, which is too costly to scale. To fully unlock the potential of event cameras, this paper proposes a novel TimeReplayer algorithm to interpolate videos captured by commodity cameras with events. It is trained in an unsupervised cycle-consistent style, canceling the necessity of high-speed training data and bringing the additional ability of video extrapolation. Its state-of-the-art results and demo videos in supplementary reveal the promising future of event-based vision.
• Abstract（参考訳）: 高速動作を高速fps(フレーム毎秒)で記録するには、高価な高速カメラが必要である。 代替として、コモディティカメラからの低FPSビデオの補間が注目されている。 低FPSビデオのみが利用可能であれば、中間フレームを推論するためには運動仮定(線形または二次)が必要である。 イベントカメラは、時間分解能の$\mu s$(10^{-6}$ second $)$の時間分解能で明るさ変化のイベントを発生するピクセルを備えた新しいカメラである。 イベントカメラは、新しいセンサーであるため、処理アルゴリズムの欠如により、そのポテンシャルは満たされていない。 先駆的な仕事であるTime Lensは、高速フレームとイベントの大量のペアトレーニングデータを収集するために光学デバイスを設計することで、ビデオ補間にイベントカメラを導入した。 本稿では,イベントカメラの可能性をフルに解き放つために,コモディティカメラが捉えた映像とイベントを補間するTimeReplayerアルゴリズムを提案する。 教師なしのサイクル一貫性のスタイルで訓練され、高速なトレーニングデータの必要性を解消し、ビデオ外挿のさらなる能力をもたらす。 最新の成果と補足的なデモビデオは、イベントベースのビジョンの有望な未来を明らかにしている。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Investigating Event-Based Cameras for Video Frame Interpolation in Sports [59.755469098797406]
  本稿では,スポーツスローモーションビデオを生成するためのイベントベースビデオフレーム補間(VFI)モデルについて検討する。 特に,スポーツ映像を撮影するためのRGBとイベントベースカメラを含むバイカメラ記録装置の設計と実装を行い,両カメラの時間的整列と空間的登録を行う。 実験により,市販のイベントベースVFIモデルであるTimeLensが,スポーツビデオのスローモーション映像を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2024-07-02T15:39:08Z)
• TimeRewind: Rewinding Time with Image-and-Events Video Diffusion [10.687722181495065]
  本稿では,シャッターボタンが押される直前に欠落したフリーティングモーメントを回復するために,単一のキャプチャ画像からタイムを巻き戻すという,新たな課題について述べる。 我々は、時間分解能の高いモーション情報をキャプチャするニューロモルフィックイベントカメラの新興技術を活用することで、この課題を克服する。 提案フレームワークは,イベントカメラデータに基づくイベントモーションアダプタを導入し,この拡散モデルを用いて,キャプチャしたイベントに視覚的に整合性を持ち,物理的に接地した映像を生成する。
  論文  参考訳（メタデータ） (2024-03-20T17:57:02Z)
• Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
  本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception [1.3869227429939426]
  イベントカメラは、高時間分解能と広いダイナミックレンジで視覚情報をキャプチャする。 イベントカメラストリーム上の現在の畳み込みニューラルネットワーク推論は、イベントカメラが動作している高速で、現在リアルタイムの推論を実行できない。 本稿では,イベントカメラからの入力に対して,CNN上で高速な推論を可能にする新しいアプローチであるEvConvを提案する。
  論文  参考訳（メタデータ） (2023-03-08T15:47:13Z)
• Event-guided Deblurring of Unknown Exposure Time Videos [31.992673443516235]
  イベントカメラは、高時間分解能で見かけの動きを捉えることができる。 本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。 本手法は最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-13T19:46:17Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。