論文の概要: Deformable Convolutions and LSTM-based Flexible Event Frame Fusion
Network for Motion Deblurring
- arxiv url: http://arxiv.org/abs/2306.00834v1
- Date: Thu, 1 Jun 2023 15:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:46:23.398443
- Title: Deformable Convolutions and LSTM-based Flexible Event Frame Fusion
Network for Motion Deblurring
- Title（参考訳）: 変形可能な畳み込みとlstmを用いたフレキシブルイベントフレーム融合ネットワーク
- Authors: Dan Yang, Mehmet Yamac
- Abstract要約: イベントカメラは、非同期データシーケンスを生成するという点で、従来のRGBカメラとは異なる。
RGBカメラは固定レートですべてのフレームをキャプチャするが、イベントカメラはシーンの変化のみをキャプチャし、スパースと非同期のデータ出力をもたらす。
最近のCNNベースのデブロアリングソリューションは、イベントデータの蓄積に基づいて、複数の2次元イベントフレームを生成する。
特に、照明条件や現場における動きの速い物体の存在といった要因によって露光時間が異なるシナリオでは特に有用である。
- 参考スコア（独自算出の注目度）: 7.187030024676791
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras differ from conventional RGB cameras in that they produce
asynchronous data sequences. While RGB cameras capture every frame at a fixed
rate, event cameras only capture changes in the scene, resulting in sparse and
asynchronous data output. Despite the fact that event data carries useful
information that can be utilized in motion deblurring of RGB cameras,
integrating event and image information remains a challenge. Recent
state-of-the-art CNN-based deblurring solutions produce multiple 2-D event
frames based on the accumulation of event data over a time period. In most of
these techniques, however, the number of event frames is fixed and predefined,
which reduces temporal resolution drastically, particularly for scenarios when
fast-moving objects are present or when longer exposure times are required. It
is also important to note that recent modern cameras (e.g., cameras in mobile
phones) dynamically set the exposure time of the image, which presents an
additional problem for networks developed for a fixed number of event frames. A
Long Short-Term Memory (LSTM)-based event feature extraction module has been
developed for addressing these challenges, which enables us to use a
dynamically varying number of event frames. Using these modules, we constructed
a state-of-the-art deblurring network, Deformable Convolutions and LSTM-based
Flexible Event Frame Fusion Network (DLEFNet). It is particularly useful for
scenarios in which exposure times vary depending on factors such as lighting
conditions or the presence of fast-moving objects in the scene. It has been
demonstrated through evaluation results that the proposed method can outperform
the existing state-of-the-art networks for deblurring task in synthetic and
real-world data sets.
- Abstract（参考訳）: イベントカメラは、非同期データシーケンスを生成するという点で、従来のRGBカメラとは異なる。
RGBカメラは固定レートですべてのフレームをキャプチャするが、イベントカメラはシーンの変化のみをキャプチャし、スパースと非同期のデータ出力をもたらす。
イベントデータがrgbカメラのモーションデブラリングに利用できる有用な情報を持っているにもかかわらず、イベントと画像の統合は依然として課題である。
最近のCNNベースのデブロアリングソリューションは、イベントデータの蓄積に基づいて、複数の2次元イベントフレームを生成する。
しかし、これらの技術の多くは、イベントフレームの数が固定され事前定義されたため、特に高速移動物体が存在する場合や露光時間が長い場合など、時間分解能が劇的に低下する。
また、最近のカメラ(携帯電話のカメラなど)が画像の露光時間を動的に設定していることも注目に値する。
これらの課題に対処するために,LSTM(Long Short-Term Memory)ベースのイベント特徴抽出モジュールが開発された。
これらのモジュールを用いて、最先端のデブロアリングネットワーク、デフォルマブル・コンボリューション、LSTMベースのフレキシブルイベントフレームフュージョンネットワーク(DLEFNet)を構築した。
特に、照明条件や現場における動きの速い物体の存在といった要因によって露光時間が異なるシナリオでは特に有用である。
提案手法は, 人工的および実世界のデータセットにおけるタスクを分離するために, 既存の最先端ネットワークを上回ることができることを示す評価結果を得た。
関連論文リスト
- CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳（メタデータ） (2022-08-24T09:39:55Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。