論文の概要: MEFNet: Multi-scale Event Fusion Network for Motion Deblurring
- arxiv url: http://arxiv.org/abs/2112.00167v1
- Date: Tue, 30 Nov 2021 23:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 04:48:38.380358
- Title: MEFNet: Multi-scale Event Fusion Network for Motion Deblurring
- Title（参考訳）: MEFNet:モーションデブリのためのマルチスケールイベントフュージョンネットワーク
- Authors: Lei Sun, Christos Sakaridis, Jingyun Liang, Qi Jiang, Kailun Yang,
Peng Sun, Yaozu Ye, Kaiwei Wang, and Luc Van Gool
- Abstract要約: 従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
- 参考スコア（独自算出の注目度）: 62.60878284671317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional frame-based cameras inevitably suffer from motion blur due to
long exposure times. As a kind of bio-inspired camera, the event camera records
the intensity changes in an asynchronous way with high temporal resolution,
providing valid image degradation information within the exposure time. In this
paper, we rethink the event-based image deblurring problem and unfold it into
an end-to-end two-stage image restoration network. To effectively utilize event
information, we design (i) a novel symmetric cumulative event representation
specifically for image deblurring, and (ii) an affine event-image fusion module
applied at multiple levels of our network. We also propose an event mask gated
connection between the two stages of the network so as to avoid information
loss. At the dataset level, to foster event-based motion deblurring and to
facilitate evaluation on challenging real-world images, we introduce the
High-Quality Blur (HQBlur) dataset, captured with an event camera in an
illumination-controlled optical laboratory. Our Multi-Scale Event Fusion
Network (MEFNet) sets the new state of the art for motion deblurring,
surpassing both the prior best-performing image-based method and all
event-based methods with public implementations on the GoPro (by up to 2.38dB)
and HQBlur datasets, even in extreme blurry conditions. Source code and dataset
will be made publicly available.
- Abstract（参考訳）: 従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
生体刺激カメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録し、露光時間内に有効な画像劣化情報を提供する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
イベント情報を効果的に活用するために
(i)画像デブラリングに特化した新しい対称累積事象表現
(ii)ネットワークの複数のレベルで適用されるアフィンイベントイメージ融合モジュール。
また,情報損失を回避するために,ネットワークの2段階間のイベントマスクゲート接続を提案する。
データセットレベルでは、事象をベースとした動きの鈍化を育むとともに、現実に挑戦する画像の評価を容易にするために、照明制御光学実験室でイベントカメラで捉えたHigh-Quality Blur(HQBlur)データセットを導入する。
当社のMulti-Scale Event Fusion Network(MEFNet)は、GoPro(最大2.38dB)とHQBlurデータセットにパブリック実装された、これまで最高のパフォーマンスのイメージベース手法とイベントベースの方法の両方を超越した、モーションデブロワーのための新たな技術状況を設定しています。
ソースコードとデータセットは公開される予定だ。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳（メタデータ） (2023-09-18T06:51:41Z) - Deformable Convolutions and LSTM-based Flexible Event Frame Fusion
Network for Motion Deblurring [7.187030024676791]
イベントカメラは、非同期データシーケンスを生成するという点で、従来のRGBカメラとは異なる。
RGBカメラは固定レートですべてのフレームをキャプチャするが、イベントカメラはシーンの変化のみをキャプチャし、スパースと非同期のデータ出力をもたらす。
最近のCNNベースのデブロアリングソリューションは、イベントデータの蓄積に基づいて、複数の2次元イベントフレームを生成する。
特に、照明条件や現場における動きの速い物体の存在といった要因によって露光時間が異なるシナリオでは特に有用である。
論文 参考訳（メタデータ） (2023-06-01T15:57:12Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳（メタデータ） (2022-08-24T09:39:55Z) - Event-guided Deblurring of Unknown Exposure Time Videos [31.992673443516235]
イベントカメラは、高時間分解能で見かけの動きを捉えることができる。
本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。
本手法は最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-13T19:46:17Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳（メタデータ） (2021-09-06T17:31:37Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳（メタデータ） (2021-08-11T03:55:12Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。