論文の概要: Event-based Motion Deblurring via Multi-Temporal Granularity Fusion

• arxiv url: http://arxiv.org/abs/2412.11866v1
• Date: Mon, 16 Dec 2024 15:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:42.235507
• Title: Event-based Motion Deblurring via Multi-Temporal Granularity Fusion
• Title（参考訳）: 多時間粒状融合によるイベントベース動作の劣化
• Authors: Xiaopeng Lin, Hongwei Ren, Yulong Huang, Zunchang Liu, Yue Zhou, Haotian Fu, Biao Pan, Bojun Cheng,
• Abstract要約: 連続的な視覚情報を提供するバイオインスパイアされたセンサーであるイベントカメラは、劣化性能を高める可能性がある。 既存のイベントベースの画像デブロアリングは、通常、ボクセルベースのイベント表現を使用する。 画像分解タスクにポイントクラウドベースのイベント表現を導入し、MTGNet(Multi-Temporal Granularity Network)を提案する。 空間的に密度が高いが、時間的に粗いボクセルベースのイベント表現と、時間的に細粒だが空間的に粗い点雲ベースのイベントを組み合わせる。
• 参考スコア（独自算出の注目度）: 5.58706910566768
• License:
• Abstract: Conventional frame-based cameras inevitably produce blurry effects due to motion occurring during the exposure time. Event camera, a bio-inspired sensor offering continuous visual information could enhance the deblurring performance. Effectively utilizing the high-temporal-resolution event data is crucial for extracting precise motion information and enhancing deblurring performance. However, existing event-based image deblurring methods usually utilize voxel-based event representations, losing the fine-grained temporal details that are mathematically essential for fast motion deblurring. In this paper, we first introduce point cloud-based event representation into the image deblurring task and propose a Multi-Temporal Granularity Network (MTGNet). It combines the spatially dense but temporally coarse-grained voxel-based event representation and the temporally fine-grained but spatially sparse point cloud-based event. To seamlessly integrate such complementary representations, we design a Fine-grained Point Branch. An Aggregation and Mapping Module (AMM) is proposed to align the low-level point-based features with frame-based features and an Adaptive Feature Diffusion Module (AFDM) is designed to manage the resolution discrepancies between event data and image data by enriching the sparse point feature. Extensive subjective and objective evaluations demonstrate that our method outperforms current state-of-the-art approaches on both synthetic and real-world datasets.
• Abstract（参考訳）: 従来のフレームベースのカメラは、露出時間中に発生する動きによって必然的にぼやけた効果を発生させる。 連続的な視覚情報を提供するバイオインスパイアされたセンサーであるイベントカメラは、劣化性能を高める可能性がある。 高時間分解能イベントデータを効果的に活用することは、正確な動作情報を抽出し、劣化性能を高めるために重要である。 しかしながら、既存のイベントベースの画像デブロアリング法は、通常、ボクセルに基づくイベント表現を使用し、高速な動きデブロアリングに数学的に必須である微粒な時間的詳細をなくす。 本稿では,まず,画像分解タスクにポイントクラウドベースのイベント表現を導入し,MTGNet(Multi-Temporal Granularity Network)を提案する。 空間的に密度が高いが、時間的に粗いボクセルベースのイベント表現と、時間的に細粒だが空間的に粗い点雲ベースのイベントを組み合わせる。 このような相補表現をシームレスに統合するために、細粒度ポイントブランチを設計する。 アグリゲーション・アンド・マッピング・モジュール(AMM)は、低レベルのポイントベースの特徴をフレームベースの特徴と整合させるために提案され、アダプティブ・フィーチャー拡散・モジュール(AFDM)はスパース・ポイント・フィーチャを豊かにすることにより、イベントデータと画像データの解像度の相違を管理するように設計されている。 広範囲な主観的および客観的評価により,本手法は,合成と実世界の両方のデータセットにおける最先端のアプローチよりも優れていることが示された。

関連論文リスト

• Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba [11.400397931501338]
  イベントカメラは、最小限の電力を消費しながら、低レイテンシで高ダイナミックレンジで環境光の変化を効率的に検出する。 イベントデータを処理する現在のアプローチでは、フレームベースの表現に変換することが多い。 Point Cloudは3D処理の一般的な表現であり、イベントカメラのスパースと非同期性に適合するのに適している。 提案するEventMambaは,最先端(SOTA)のフレームベース手法と比較しても,競合的な結果が得られる,効率的かつ効果的なPoint Cloudフレームワークである。
  論文  参考訳（メタデータ） (2024-05-09T21:47:46Z)
• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
  既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
  論文  参考訳（メタデータ） (2023-09-18T06:51:41Z)
• Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
  イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。 本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。 次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
  論文  参考訳（メタデータ） (2023-08-11T04:27:29Z)
• Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
  インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
  論文  参考訳（メタデータ） (2023-04-05T18:44:17Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Spatiotemporal Registration for Event-based Visual Odometry [40.02502611087858]
  イベントセンシングの有用な応用は、特に高時間分解能を必要とする設定において視覚計測である。 本稿では,イベントベース回転運動推定手法として大規模登録を提案する。 また,高精度ロボットアームを用いて,速度変動が大きい動き列を取得するビジュアルオドメトリーのための新しいイベントデータセットも提供した。
  論文  参考訳（メタデータ） (2021-03-10T09:23:24Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• DeFMO: Deblurring and Shape Recovery of Fast Moving Objects [139.67524021201103]
  生成モデルは、ぼやけたオブジェクトのイメージを潜在空間表現に埋め込み、背景を歪め、シャープな外観を描画する。 DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
  論文  参考訳（メタデータ） (2020-12-01T16:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。