論文の概要: EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset
- arxiv url: http://arxiv.org/abs/2312.08220v1
- Date: Wed, 13 Dec 2023 15:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 15:01:58.236287
- Title: EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset
- Title（参考訳）: EventAid: リアルタイムハイブリッドデータセットを用いたイベント支援画像/ビデオ強調アルゴリズムのベンチマーク
- Authors: Peiqi Duan, Boyu Li, Yixin Yang, Hanyue Lou, Minggui Teng, Yi Ma,
Boxin Shi
- Abstract要約: イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
- 参考スコア（独自算出の注目度）: 55.12137324648253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are emerging imaging technology that offers advantages over
conventional frame-based imaging sensors in dynamic range and sensing speed.
Complementing the rich texture and color perception of traditional image
frames, the hybrid camera system of event and frame-based cameras enables
high-performance imaging. With the assistance of event cameras, high-quality
image/video enhancement methods make it possible to break the limits of
traditional frame-based cameras, especially exposure time, resolution, dynamic
range, and frame rate limits. This paper focuses on five event-aided image and
video enhancement tasks (i.e., event-based video reconstruction, event-aided
high frame rate video reconstruction, image deblurring, image super-resolution,
and high dynamic range image reconstruction), provides an analysis of the
effects of different event properties, a real-captured and ground truth labeled
benchmark dataset, a unified benchmarking of state-of-the-art methods, and an
evaluation for two mainstream event simulators. In detail, this paper collects
a real-captured evaluation dataset EventAid for five event-aided image/video
enhancement tasks, by using "Event-RGB" multi-camera hybrid system, taking into
account scene diversity and spatiotemporal synchronization. We further perform
quantitative and visual comparisons for state-of-the-art algorithms, provide a
controlled experiment to analyze the performance limit of event-aided image
deblurring methods, and discuss open problems to inspire future research.
- Abstract（参考訳）: イベントカメラは、従来のフレームベースの撮像センサーよりもダイナミックレンジとセンシング速度の利点を提供する新しい撮像技術である。
従来の画像フレームのテクスチャと色知覚を補完する、イベントとフレームベースのカメラのハイブリッドカメラシステムは、高性能な撮像を可能にする。
イベントカメラの助けを借りて、高品質な画像/ビデオエンハンスメント手法により、従来のフレームベースのカメラ、特に露出時間、解像度、ダイナミックレンジ、フレームレートの制限を破ることができる。
本稿では,5つのイベント支援画像と映像強調タスク(イベントベースビデオ再構成,イベント支援高フレームレートビデオ再構成,画像デブリ,画像超解像,高ダイナミックレンジ画像再構成)に焦点を当て,異なるイベント特性の影響の分析,リアルタイムおよび地上真実ラベル付きベンチマークデータセット,最先端手法の統一ベンチマーク,および2つの主流イベントシミュレータの評価を行う。
本稿では,シーンの多様性と時空間同期を考慮した"Event-RGB"マルチカメラハイブリッドシステムを用いて,5つのイベント支援画像/映像強調タスクのためのリアルタイム評価データセットEventAidを収集する。
さらに,最先端アルゴリズムの定量的および視覚的比較を行い,イベント支援画像デブラリング法の性能限界を分析するための制御実験を行い,今後の研究を刺激するオープン問題について議論する。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Event-based Background-Oriented Schlieren [18.2247510082534]
シュリーレンイメージング(Schlieren imaging)は、空気や水などの透明な媒体の流れを粒子の種を作らずに観察する光学技術である。
イベントカメラは、バイオインスパイアされたセンシング原理により、そのような制限を克服する潜在的な利点(高ダイナミックレンジ、高時間分解能、データ効率)を提供する。
本稿では,イベントデータとシュリエレンを結合する最初の理論的解析を行い,イベントとフレームを用いた空気対流の知覚手法を提案する。
論文 参考訳（メタデータ） (2023-11-01T10:57:20Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - EVREAL: Towards a Comprehensive Benchmark and Analysis Suite for Event-based Video Reconstruction [16.432164340779266]
イベントカメラは、高ダイナミックレンジや最小モーションブラーといった従来のフレームベースのカメラよりも利点がある。
彼らの出力は、人間が容易に理解できないため、イベントストリームからの強度画像の再構成は、イベントベースのビジョンにおいて基本的なタスクとなる。
近年の深層学習に基づく手法は,イベントからの映像再構成において有望であることを示すものであるが,この問題はまだ完全には解決されていない。
論文 参考訳（メタデータ） (2023-04-30T09:28:38Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳（メタデータ） (2020-09-28T16:03:59Z) - Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
論文 参考訳（メタデータ） (2020-03-20T02:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。