論文の概要: Event-based Image Deblurring with Dynamic Motion Awareness

• arxiv url: http://arxiv.org/abs/2208.11398v1
• Date: Wed, 24 Aug 2022 09:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:54:11.417430
• Title: Event-based Image Deblurring with Dynamic Motion Awareness
• Title（参考訳）: 動的動き認識によるイベントベース画像の劣化
• Authors: Patricia Vitoria, Stamatios Georgoulis, Stepan Tulyakov, Alfredo Bochicchio, Julius Erbach, Yuanyou Li
• Abstract要約: 露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
• 参考スコア（独自算出の注目度）: 10.81953574179206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-uniform image deblurring is a challenging task due to the lack of temporal and textural information in the blurry image itself. Complementary information from auxiliary sensors such event sensors are being explored to address these limitations. The latter can record changes in a logarithmic intensity asynchronously, called events, with high temporal resolution and high dynamic range. Current event-based deblurring methods combine the blurry image with events to jointly estimate per-pixel motion and the deblur operator. In this paper, we argue that a divide-and-conquer approach is more suitable for this task. To this end, we propose to use modulated deformable convolutions, whose kernel offsets and modulation masks are dynamically estimated from events to encode the motion in the scene, while the deblur operator is learned from the combination of blurry image and corresponding events. Furthermore, we employ a coarse-to-fine multi-scale reconstruction approach to cope with the inherent sparsity of events in low contrast regions. Importantly, we introduce the first dataset containing pairs of real RGB blur images and related events during the exposure time. Our results show better overall robustness when using events, with improvements in PSNR by up to 1.57dB on synthetic data and 1.08 dB on real event data.
• Abstract（参考訳）: 非一様画像デブラリングは、ぼやけた画像自体に時間的およびテクスト的な情報がないため、難しい課題である。 イベントセンサのような補助センサからの補完情報は、これらの制限に対処するために検討されている。 後者は、時間分解能が高くダイナミックレンジの高いイベントと呼ばれる対数強度の変化を非同期に記録することができる。 現在のイベントベースデブラリング法は、ぼやけた画像とイベントを組み合わせることで、ピクセルごとの動きとデブラリング演算子を共同で推定する。 本稿では,この課題に対して分割・分散アプローチがより適していると論じる。 そこで本研究では,カーネルオフセットと変調マスクが動的に推定される変調変形可能な畳み込みを用いてシーン内の動作を符号化し,デブロワー演算子はぼやけた画像とそれに対応するイベントの組み合わせから学習する。 さらに,低コントラスト領域における事象の局所性に対処するために,粗大なマルチスケール再構築手法を用いる。 重要なことは、露光時間に実際のRGBぼかし画像と関連する事象のペアを含む最初のデータセットを導入することである。 以上の結果から,PSNRは合成データ1.57dB,実イベントデータ1.08dBまで改善され,イベント使用時の全体的な堅牢性が向上した。

関連論文リスト

• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
  既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
  論文  参考訳（メタデータ） (2023-09-18T06:51:41Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
  インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
  論文  参考訳（メタデータ） (2023-04-05T18:44:17Z)
• Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion [47.57998625129672]
  イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。 提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
  論文  参考訳（メタデータ） (2022-03-31T17:14:58Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
  イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。 従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。 本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-12-10T11:24:07Z)
• Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
  イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。 本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T11:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。