論文の概要: CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving
- arxiv url: http://arxiv.org/abs/2309.16949v1
- Date: Fri, 29 Sep 2023 03:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 15:35:49.580788
- Title: CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving
- Title（参考訳）: crosszoom: モーションデブラリングとイベントスーパーリゾルディングを同時に行う
- Authors: Chi Zhang, Xiang Zhang, Mingyuan Lin, Cheng Li, Chu He, Wen Yang,
Gui-Song Xia, Lei Yu
- Abstract要約: CrossZoomは新しい統合ニューラルネットワーク(CZ-Net)で、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、シャープな潜伏シーケンスを共同で回復する。
本稿では, スケール変動特性を活用し, クロスエンハンスメントを実現するために, 相互モダリティ情報を効果的に融合する, マルチスケールのぼかし融合アーキテクチャを提案する。
本稿では,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
- 参考スコア（独自算出の注目度）: 38.96663258582471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even though the collaboration between traditional and neuromorphic event
cameras brings prosperity to frame-event based vision applications, the
performance is still confined by the resolution gap crossing two modalities in
both spatial and temporal domains. This paper is devoted to bridging the gap by
increasing the temporal resolution for images, i.e., motion deblurring, and the
spatial resolution for events, i.e., event super-resolving, respectively. To
this end, we introduce CrossZoom, a novel unified neural Network (CZ-Net) to
jointly recover sharp latent sequences within the exposure period of a blurry
input and the corresponding High-Resolution (HR) events. Specifically, we
present a multi-scale blur-event fusion architecture that leverages the
scale-variant properties and effectively fuses cross-modality information to
achieve cross-enhancement. Attention-based adaptive enhancement and
cross-interaction prediction modules are devised to alleviate the distortions
inherent in Low-Resolution (LR) events and enhance the final results through
the prior blur-event complementary information. Furthermore, we propose a new
dataset containing HR sharp-blurry images and the corresponding HR-LR event
streams to facilitate future research. Extensive qualitative and quantitative
experiments on synthetic and real-world datasets demonstrate the effectiveness
and robustness of the proposed method. Codes and datasets are released at
https://bestrivenzc.github.io/CZ-Net/.
- Abstract（参考訳）: 従来のイベントカメラとニューロモルフィックなイベントカメラのコラボレーションは、フレームイベントベースの視覚応用に繁栄をもたらすが、その性能は空間領域と時間領域の両方で2つのモードを横断する解像度ギャップによって制限されている。
本稿では,画像の時間分解能,すなわち動きのぼかし,イベントの空間分解能,すなわちイベントの超解像を増加させることでギャップを橋渡しすることを目的としている。
そこで我々はCrossZoomという新しい統合ニューラルネットワーク(CZ-Net)を導入し、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、鋭い潜時シーケンスを共同で復元する。
具体的には,スケール変化特性を活用し,クロスモダリティ情報を効果的に融合してクロスエンハンスメントを実現するマルチスケールのぼやけ事象融合アーキテクチャを提案する。
注意に基づく適応的拡張と相互相互作用予測モジュールは、低解法(LR)イベントに固有の歪みを緩和し、事前のぼやけた相補的な情報を通じて最終結果を強化する。
さらに,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
合成および実世界のデータセットに関する大規模定性的および定量的実験により,提案手法の有効性とロバスト性を実証した。
コードとデータセットはhttps://bestrivenzc.github.io/cz-net/でリリースされる。
関連論文リスト
- Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。
一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。
本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-01T13:40:09Z) - Event-Stream Super Resolution using Sigma-Delta Neural Network [0.10923877073891444]
イベントカメラは、それらが収集するデータの低解像度で疎結合で非同期な性質のため、ユニークな課題を示す。
現在のイベント超解像アルゴリズムは、イベントカメラによって生成された異なるデータ構造に対して完全に最適化されていない。
バイナリスパイクをSigma Delta Neural Networks(SDNNs)と統合する手法を提案する
論文 参考訳（メタデータ） (2024-08-13T15:25:18Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳（メタデータ） (2023-09-18T06:51:41Z) - Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection [95.84616822805664]
我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。
トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
論文 参考訳（メタデータ） (2023-08-17T11:57:49Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳（メタデータ） (2023-08-11T04:27:29Z) - Learning to Super-Resolve Blurry Images with Events [62.61911224564196]
単一運動ブラインド画像(SRB)からの超解像は, 運動ぼけと低空間分解能の合同劣化により, 深刻な問題となる。
我々は、SRBの負担を軽減するためにイベントを使用し、イベント強化SRB(E-SRB)アルゴリズムを提案する。
提案するeSL-Net++は最先端の手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2023-02-27T13:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。