論文の概要: Learning Parallax for Stereo Event-based Motion Deblurring

• arxiv url: http://arxiv.org/abs/2309.09513v1
• Date: Mon, 18 Sep 2023 06:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 14:51:17.791612
• Title: Learning Parallax for Stereo Event-based Motion Deblurring
• Title（参考訳）: ステレオイベントベースモーションデブラリングのための学習パララックス
• Authors: Mingyuan Lin, Chi Zhang, Chu He, Lei Yu
• Abstract要約: 既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
• 参考スコア（独自算出の注目度）: 8.201943408103995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the extremely low latency, events have been recently exploited to supplement lost information for motion deblurring. Existing approaches largely rely on the perfect pixel-wise alignment between intensity images and events, which is not always fulfilled in the real world. To tackle this problem, we propose a novel coarse-to-fine framework, named NETwork of Event-based motion Deblurring with STereo event and intensity cameras (St-EDNet), to recover high-quality images directly from the misaligned inputs, consisting of a single blurry image and the concurrent event streams. Specifically, the coarse spatial alignment of the blurry image and the event streams is first implemented with a cross-modal stereo matching module without the need for ground-truth depths. Then, a dual-feature embedding architecture is proposed to gradually build the fine bidirectional association of the coarsely aligned data and reconstruct the sequence of the latent sharp images. Furthermore, we build a new dataset with STereo Event and Intensity Cameras (StEIC), containing real-world events, intensity images, and dense disparity maps. Experiments on real-world datasets demonstrate the superiority of the proposed network over state-of-the-art methods.
• Abstract（参考訳）: 遅延が極端に低かったため、近年、モーションデブラリングで失われた情報を補うためにイベントが利用されている。 既存のアプローチでは、インテンシティ画像とイベントの完全なピクセル単位でのアライメントに大きく依存しています。 そこで本研究では,ステレオイベントとインテンシティカメラ(st-ednet)を併用した,イベントベース動作のネットワークと呼ばれる新しい粗粒度フレームを提案する。 具体的には、ぼやけた画像とイベントストリームの粗い空間的アライメントを、地底深度を必要とせずに、まずクロスモーダルなステレオマッチングモジュールで実装する。 次に、粗い整列データの微細な双方向結合を徐々に構築し、潜伏したシャープ画像のシーケンスを再構築する二機能埋め込みアーキテクチャを提案する。 さらに,ステレオイベントとインテンシティカメラ(steic)を備えた新しいデータセットを構築し,実世界のイベント,インテンシティ画像,密集した不一致マップを含む。 実世界のデータセットの実験は、最先端の手法よりも提案されたネットワークの優位性を実証している。

関連論文リスト

• LaSe-E2V: Towards Language-guided Semantic-Aware Event-to-Video Reconstruction [8.163356555241322]
  セマンティック・アウェアの高品質なE2V再構成を実現する新しいフレームワークであるLaSe-E2Vを提案する。 まずイベント誘導時空間アテンション(ESA)モジュールを提案する。 次に、時間的コヒーレンスを確保するためのイベント対応マスクロスと、空間的一貫性を高めるためのノイズ戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-08T01:40:32Z)
• CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving [38.96663258582471]
  CrossZoomは新しい統合ニューラルネットワーク(CZ-Net)で、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、シャープな潜伏シーケンスを共同で回復する。 本稿では, スケール変動特性を活用し, クロスエンハンスメントを実現するために, 相互モダリティ情報を効果的に融合する, マルチスケールのぼかし融合アーキテクチャを提案する。 本稿では,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:27:53Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
  高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-17T04:02:00Z)
• Learning to Super-Resolve Blurry Images with Events [62.61911224564196]
  単一運動ブラインド画像(SRB)からの超解像は, 運動ぼけと低空間分解能の合同劣化により, 深刻な問題となる。 我々は、SRBの負担を軽減するためにイベントを使用し、イベント強化SRB(E-SRB)アルゴリズムを提案する。 提案するeSL-Net++は最先端の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-27T13:46:42Z)
• Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
  本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。 我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。 コードとデータセットは公開されます。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
  イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-03-17T10:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。