論文の概要: UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models

• arxiv url: http://arxiv.org/abs/2602.19202v1
• Date: Sun, 22 Feb 2026 14:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.529675
• Title: UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models
• Title（参考訳）: UniE2F:ビデオファウンデーションモデルによるイベント・ツー・フレーム再構築のための統合拡散フレームワーク
• Authors: Gang Xu, Zhiyu Zhu, Junhui Hou,
• Abstract要約: イベントカメラは絶対強度よりも相対強度の変化を記録できる。 結果として得られたデータストリームは、空間情報と静的テクスチャの詳細が著しく失われることに悩まされる。 本稿では、事前学習したビデオ拡散モデルを用いて、スパースイベントデータから高忠実度ビデオフレームを再構成することで、この制限に対処する。
• 参考スコア（独自算出の注目度）: 67.24086328473437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras excel at high-speed, low-power, and high-dynamic-range scene perception. However, as they fundamentally record only relative intensity changes rather than absolute intensity, the resulting data streams suffer from a significant loss of spatial information and static texture details. In this paper, we address this limitation by leveraging the generative prior of a pre-trained video diffusion model to reconstruct high-fidelity video frames from sparse event data. Specifically, we first establish a baseline model by directly applying event data as a condition to synthesize videos. Then, based on the physical correlation between the event stream and video frames, we further introduce the event-based inter-frame residual guidance to enhance the accuracy of video frame reconstruction. Furthermore, we extend our method to video frame interpolation and prediction in a zero-shot manner by modulating the reverse diffusion sampling process, thereby creating a unified event-to-frame reconstruction framework. Experimental results on real-world and synthetic datasets demonstrate that our method significantly outperforms previous approaches both quantitatively and qualitatively. We also refer the reviewers to the video demo contained in the supplementary material for video results. The code will be publicly available at https://github.com/CS-GangXu/UniE2F.
• Abstract（参考訳）: イベントカメラは、高速、低消費電力、高ダイナミックレンジのシーン知覚において優れる。 しかし、絶対強度よりも相対強度の変化しか記録していないため、結果として得られるデータストリームは空間情報と静的テクスチャの詳細が著しく失われることに悩まされる。 本稿では、事前学習したビデオ拡散モデルの生成的先行モデルを利用して、スパースイベントデータから高忠実度ビデオフレームを再構成することで、この制限に対処する。 具体的には、まず、ビデオの合成条件としてイベントデータを直接適用することで、ベースラインモデルを確立する。 そして,イベントストリームとビデオフレームの物理的相関に基づいて,イベントベースのフレーム間残差ガイダンスを導入し,ビデオフレーム再構成の精度を高める。 さらに、逆拡散サンプリングプロセスの変調により、フレーム間補間と予測をゼロショットで拡張し、統合されたイベント・ツー・フレーム再構築フレームワークを作成する。 実世界および合成データセットの実験結果から,本手法は従来手法よりも定量的,定性的に優れていることが示された。 また,ビデオ検索結果の補足資料に含まれるビデオデモについて,レビュアーを参照する。 コードはhttps://github.com/CS-GangXu/UniE2Fで公開される。

関連論文リスト

• DESSERT: Diffusion-based Event-driven Single-frame Synthesis via Residual Training [25.438410354399053]
  ビデオフレーム予測は、将来のフレームを以前のフレームから外挿するが、動的シーンの予測エラーに悩まされる。 DESSERTは,残差学習による拡散型イベント駆動単フレーム合成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-19T08:12:20Z)
• EvDiff: High Quality Video with an Event Camera [77.07279880903009]
  イベントからの強度画像の再構成は、絶対的な明るさのあいまいさが原因で、非常に不適切な作業である。 EvDiffはイベントベースの拡散モデルであり、高品質なビデオを作成するための代理トレーニングフレームワークに従う。
  論文  参考訳（メタデータ） (2025-11-21T18:49:18Z)
• Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation [20.689304579898728]
  イベントベースのビデオフレーム補間(EVFI)は、動き誘導としてスパースで高時間分解能なイベント計測を使用する。 我々は、インターネット規模のデータセットで訓練された事前学習ビデオ拡散モデルをEVFIに適用する。 提案手法は既存の手法より優れており,カメラ全体の一般化が従来の手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2024-12-10T18:55:30Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
  本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。 我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。