論文の概要: Learning to See Through with Events

• arxiv url: http://arxiv.org/abs/2212.02219v1
• Date: Mon, 5 Dec 2022 12:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 17:32:30.345551
• Title: Learning to See Through with Events
• Title（参考訳）: イベントを通して見ることを学ぶ
• Authors: Lei Yu, Xiang Zhang, Wei Liao, Wen Yang, Gui-Song Xia
• Abstract要約: 本稿では,極めて低レイテンシかつ高ダイナミックレンジの非同期イベントに依存するイベントベースSAI(E-SAI)手法を提案する。 収集されたイベントは、最初にRe-focus-Netモジュールによって再フォーカスされ、オフフォーカスイベントを散乱しながら、インフォーカスイベントを調整する。 スパイクニューラルネットワーク (SNN) と畳み込みニューラルネットワーク (CNN) を組み合わせたハイブリッドネットワークを提案する。
• 参考スコア（独自算出の注目度）: 37.19232535463858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.
• Abstract（参考訳）: 合成開口イメージング(sai)は、多視点画像から被写体内シーンを復元しながら、被写体外咬合をぼやけ、透視効果が得られるが、濃密な閉塞や極端な照明条件により性能が低下することが多い。 この問題に対処するため,イベントカメラによって取得される極めて低レイテンシかつ高ダイナミックレンジの非同期イベントに依存するイベントベースSAI(E-SAI)手法を提案する。 具体的には、収集されたイベントは、最初にRefocus-Netモジュールによってフォーカス内イベントを調整し、オフフォーカスイベントを散布する。 その後、スパイクニューラルネットワーク(SNN)と畳み込みニューラルネットワーク(CNN)からなるハイブリッドネットワークが提案され、再集中イベントから時空間情報を符号化し、隠蔽対象の視覚的イメージを再構成する。 提案手法は,非常に密集した閉塞や極端な照明条件に対処し,純粋なイベントから高品質な映像を生成できることを示す。 コードとデータセットはhttps://dvs-whu.cn/projects/esai/で利用可能である。

関連論文リスト

• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Event-based Synthetic Aperture Imaging with a Hybrid Network [30.178111153441666]
  本稿では,非常に低レイテンシかつ高ダイナミックレンジで非同期イベントを生成可能なイベントカメラに基づく新しいSAIシステムを提案する。 閉鎖対象を再構築するために、スパイキングニューラルネットワーク(SNN)と畳み込みニューラルネットワーク(CNN)からなるハイブリッドエンコーダデコーダネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:56:55Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Event Enhanced High-Quality Image Recovery [34.46486617222021]
  本稿では,イベントカメラから高品質な画像を取り出すために,イベント強化スパース学習ネットワーク(eSL-Net)を提案する。 合成データセットを用いてトレーニングした後、提案したeSL-Netは、最先端の性能を7～12dB向上させることができる。
  論文  参考訳（メタデータ） (2020-07-16T13:51:15Z)
• EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
  イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-03-17T10:58:10Z)
• Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
  本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。 このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
  論文  参考訳（メタデータ） (2020-03-14T20:37:21Z)
• Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing [57.90239401665367]
  ホイルスライドイメージング(WSI)は、デジタル病理の新たな技術である。 本稿では,リフォーカスを行うための機械的調整に依存しないテキスト仮想オートフォーカスの概念を提案する。
  論文  参考訳（メタデータ） (2020-03-14T13:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。