論文の概要: CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving
- arxiv url: http://arxiv.org/abs/2309.16949v1
- Date: Fri, 29 Sep 2023 03:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 15:35:49.580788
- Title: CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving
- Title（参考訳）: crosszoom: モーションデブラリングとイベントスーパーリゾルディングを同時に行う
- Authors: Chi Zhang, Xiang Zhang, Mingyuan Lin, Cheng Li, Chu He, Wen Yang,
Gui-Song Xia, Lei Yu
- Abstract要約: CrossZoomは新しい統合ニューラルネットワーク(CZ-Net)で、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、シャープな潜伏シーケンスを共同で回復する。
本稿では, スケール変動特性を活用し, クロスエンハンスメントを実現するために, 相互モダリティ情報を効果的に融合する, マルチスケールのぼかし融合アーキテクチャを提案する。
本稿では,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
- 参考スコア（独自算出の注目度）: 38.96663258582471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even though the collaboration between traditional and neuromorphic event
cameras brings prosperity to frame-event based vision applications, the
performance is still confined by the resolution gap crossing two modalities in
both spatial and temporal domains. This paper is devoted to bridging the gap by
increasing the temporal resolution for images, i.e., motion deblurring, and the
spatial resolution for events, i.e., event super-resolving, respectively. To
this end, we introduce CrossZoom, a novel unified neural Network (CZ-Net) to
jointly recover sharp latent sequences within the exposure period of a blurry
input and the corresponding High-Resolution (HR) events. Specifically, we
present a multi-scale blur-event fusion architecture that leverages the
scale-variant properties and effectively fuses cross-modality information to
achieve cross-enhancement. Attention-based adaptive enhancement and
cross-interaction prediction modules are devised to alleviate the distortions
inherent in Low-Resolution (LR) events and enhance the final results through
the prior blur-event complementary information. Furthermore, we propose a new
dataset containing HR sharp-blurry images and the corresponding HR-LR event
streams to facilitate future research. Extensive qualitative and quantitative
experiments on synthetic and real-world datasets demonstrate the effectiveness
and robustness of the proposed method. Codes and datasets are released at
https://bestrivenzc.github.io/CZ-Net/.
- Abstract（参考訳）: 従来のイベントカメラとニューロモルフィックなイベントカメラのコラボレーションは、フレームイベントベースの視覚応用に繁栄をもたらすが、その性能は空間領域と時間領域の両方で2つのモードを横断する解像度ギャップによって制限されている。
本稿では,画像の時間分解能,すなわち動きのぼかし,イベントの空間分解能,すなわちイベントの超解像を増加させることでギャップを橋渡しすることを目的としている。
そこで我々はCrossZoomという新しい統合ニューラルネットワーク(CZ-Net)を導入し、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、鋭い潜時シーケンスを共同で復元する。
具体的には,スケール変化特性を活用し,クロスモダリティ情報を効果的に融合してクロスエンハンスメントを実現するマルチスケールのぼやけ事象融合アーキテクチャを提案する。
注意に基づく適応的拡張と相互相互作用予測モジュールは、低解法(LR)イベントに固有の歪みを緩和し、事前のぼやけた相補的な情報を通じて最終結果を強化する。
さらに,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
合成および実世界のデータセットに関する大規模定性的および定量的実験により,提案手法の有効性とロバスト性を実証した。
コードとデータセットはhttps://bestrivenzc.github.io/cz-net/でリリースされる。
関連論文リスト
- Event-Stream Super Resolution using Sigma-Delta Neural Network [0.10923877073891444]
イベントカメラは、それらが収集するデータの低解像度で疎結合で非同期な性質のため、ユニークな課題を示す。
現在のイベント超解像アルゴリズムは、イベントカメラによって生成された異なるデータ構造に対して完全に最適化されていない。
バイナリスパイクをSigma Delta Neural Networks(SDNNs)と統合する手法を提案する
論文 参考訳（メタデータ） (2024-08-13T15:25:18Z) - Super-Resolving Blurry Images with Events [10.05865188205294]
イベントベースBlurry Super Resolution Network (EBSR-Net)
本稿では,イベント固有の動きやテクスチャ情報をキャプチャする,マルチスケールのセンターサラウンドイベント表現を提案する。
また、ぼやけた画像とイベントの相補性をフル活用するために、対称なクロスモーダルアテンションモジュールを設計する。
論文 参考訳（メタデータ） (2024-05-11T05:18:22Z) - MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking [50.26836546224782]
事象に基づく視線追跡は、高時間分解能と低冗長性で非常に有望である。
点眼、固定、ササード、スムーズな追跡を含む眼球運動パターンの多様性と急激さは、眼球運動の局所化に重要な課題を提起する。
本稿では、文脈時空間情報を完全に活用するための双方向の長期シーケンスモデリングと時間変化状態選択機構を提案する。
論文 参考訳（メタデータ） (2024-04-18T11:09:25Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳（メタデータ） (2023-09-18T06:51:41Z) - Point-aware Interaction and CNN-induced Refinement Network for RGB-D
Salient Object Detection [95.84616822805664]
我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。
トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
論文 参考訳（メタデータ） (2023-08-17T11:57:49Z) - Generalizing Event-Based Motion Deblurring in Real-World Scenarios [62.995994797897424]
イベントベースの動作遅延は、低レイテンシイベントを活用することで、有望な結果を示している。
本研究では,フレキシブルな入力空間スケールを実現するとともに,時間スケールの異なる動きのぼかしから学習できるスケール対応ネットワークを提案する。
次に,実世界のデータ分布に適合する2段階の自己教師型学習手法を開発した。
論文 参考訳（メタデータ） (2023-08-11T04:27:29Z) - Learning to Super-Resolve Blurry Images with Events [62.61911224564196]
単一運動ブラインド画像(SRB)からの超解像は, 運動ぼけと低空間分解能の合同劣化により, 深刻な問題となる。
我々は、SRBの負担を軽減するためにイベントを使用し、イベント強化SRB(E-SRB)アルゴリズムを提案する。
提案するeSL-Net++は最先端の手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2023-02-27T13:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。