論文の概要: E2VIDiff: Perceptual Events-to-Video Reconstruction using Diffusion Priors
- arxiv url: http://arxiv.org/abs/2407.08231v1
- Date: Thu, 11 Jul 2024 07:10:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 18:39:04.606295
- Title: E2VIDiff: Perceptual Events-to-Video Reconstruction using Diffusion Priors
- Title（参考訳）: E2VIDiff:Diffusion Priorsを用いた知覚的イベント・ビデオ再構成
- Authors: Jinxiu Liang, Bohan Yu, Yixin Yang, Yiming Han, Boxin Shi,
- Abstract要約: イベント間再構成に拡散モデルを導入し、無彩色イベントからカラフルでリアルで知覚的に優れた映像生成を実現する。
当社のアプローチは、与えられたイベントに忠実な、多様で現実的なフレームを作り出すことができる。
- 参考スコア（独自算出の注目度）: 44.430588804079555
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Event cameras, mimicking the human retina, capture brightness changes with unparalleled temporal resolution and dynamic range. Integrating events into intensities poses a highly ill-posed challenge, marred by initial condition ambiguities. Traditional regression-based deep learning methods fall short in perceptual quality, offering deterministic and often unrealistic reconstructions. In this paper, we introduce diffusion models to events-to-video reconstruction, achieving colorful, realistic, and perceptually superior video generation from achromatic events. Powered by the image generation ability and knowledge of pretrained diffusion models, the proposed method can achieve a better trade-off between the perception and distortion of the reconstructed frame compared to previous solutions. Extensive experiments on benchmark datasets demonstrate that our approach can produce diverse, realistic frames with faithfulness to the given events.
- Abstract（参考訳）: イベントカメラは人間の網膜を模倣し、例外のない時間分解能とダイナミックレンジで明るさの変化を捉えます。
イベントをインテンシティに統合することは、初期状態の曖昧さに悩まされる、非常に不適切な課題を引き起こす。
従来の回帰に基づくディープラーニング手法は知覚品質に乏しく、決定論的かつしばしば非現実的な再構築を提供する。
本稿では,非クロマティックなイベントから,カラフルでリアルで知覚的に優れた映像生成を実現するために,イベント・ツー・ビデオの再構成に拡散モデルを導入する。
提案手法は, 画像生成能力と事前学習した拡散モデルの知識を生かして, 再構成されたフレームの知覚と歪みとのトレードオフを, 従来の解と比較して向上させることができる。
ベンチマークデータセットに関する大規模な実験は、我々のアプローチが与えられたイベントに忠実な多種多様な現実的なフレームを生成できることを示した。
関連論文リスト
- E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - EVREAL: Towards a Comprehensive Benchmark and Analysis Suite for Event-based Video Reconstruction [16.432164340779266]
イベントカメラは、高ダイナミックレンジや最小モーションブラーといった従来のフレームベースのカメラよりも利点がある。
彼らの出力は、人間が容易に理解できないため、イベントストリームからの強度画像の再構成は、イベントベースのビジョンにおいて基本的なタスクとなる。
近年の深層学習に基づく手法は,イベントからの映像再構成において有望であることを示すものであるが,この問題はまだ完全には解決されていない。
論文 参考訳（メタデータ） (2023-04-30T09:28:38Z) - Event-based Non-Rigid Reconstruction from Contours [17.049602518532847]
本稿では,イベントベースカメラを用いた新しい変形再構成手法を提案する。
全てのイベントが動きによって生成される静的な背景の仮定の下で、我々の手法はオブジェクトの輪郭で生成されたイベントからオブジェクトの変形を推定する。
イベントを輪郭のメッシュフェイスに関連付け、イベントピクセルと関連する顔との間の視線のアライメントを最大化する。
論文 参考訳（メタデータ） (2022-10-12T14:53:11Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳（メタデータ） (2020-09-17T13:30:05Z) - Learning Event-Based Motion Deblurring [39.16921854492941]
高速な動きは、イベントベースのカメラの高速でイベントとしてキャプチャすることができる。
我々は、その最適化を、新しいエンドツーエンドのディープアーキテクチャでどのように展開できるかを示す。
提案手法は、最先端の復元品質を実現し、実世界の動きのぼかし処理をより一般化する。
論文 参考訳（メタデータ） (2020-04-13T07:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。