論文の概要: Event-based Synthetic Aperture Imaging with a Hybrid Network

• arxiv url: http://arxiv.org/abs/2103.02376v2
• Date: Thu, 4 Mar 2021 16:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 13:04:27.523699
• Title: Event-based Synthetic Aperture Imaging with a Hybrid Network
• Title（参考訳）: ハイブリッドネットワークを用いたイベントベース合成開口イメージング
• Authors: Xiang Zhang, Liao Wei, Lei Yu, Wen Yang and Gui-Song Xia
• Abstract要約: 本稿では,非常に低レイテンシかつ高ダイナミックレンジで非同期イベントを生成可能なイベントカメラに基づく新しいSAIシステムを提案する。 閉鎖対象を再構築するために、スパイキングニューラルネットワーク(SNN)と畳み込みニューラルネットワーク(CNN)からなるハイブリッドエンコーダデコーダネットワークを提案する。
• 参考スコア（独自算出の注目度）: 30.178111153441666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic aperture imaging (SAI) is able to achieve the see through effect by blurring out the off-focus foreground occlusions and reconstructing the in-focus occluded targets from multi-view images. However, very dense occlusions and extreme lighting conditions may bring significant disturbances to SAI based on conventional frame-based cameras, leading to performance degeneration. To address these problems, we propose a novel SAI system based on the event camera which can produce asynchronous events with extremely low latency and high dynamic range. Thus, it can eliminate the interference of dense occlusions by measuring with almost continuous views, and simultaneously tackle the over/under exposure problems. To reconstruct the occluded targets, we propose a hybrid encoder-decoder network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs). In the hybrid network, the spatio-temporal information of the collected events is first encoded by SNN layers, and then transformed to the visual image of the occluded targets by a style-transfer CNN decoder. Through experiments, the proposed method shows remarkable performance in dealing with very dense occlusions and extreme lighting conditions, and high quality visual images can be reconstructed using pure event data.
• Abstract（参考訳）: 合成開口画像(SAI)は、オフフォーカス前景の閉塞をぼかし、マルチビュー画像からフォーカス内隠蔽対象を再構成することにより、その効果を生かすことができる。 しかし、非常に密集した閉塞と極端な照明条件は、従来のフレームベースのカメラに基づくSAIに大きな障害をもたらし、性能劣化を引き起こす可能性がある。 そこで本研究では,低レイテンシかつ高ダイナミックレンジの非同期イベントを生成可能なイベントカメラに基づく新しいSAIシステムを提案する。 これにより、ほぼ連続的な視点で測定することで密閉体の干渉を排除でき、同時に露光問題に対処することができる。 閉鎖対象を再構築するために、スパイキングニューラルネットワーク(SNN)と畳み込みニューラルネットワーク(CNN)からなるハイブリッドエンコーダデコーダネットワークを提案する。 ハイブリッドネットワークでは、収集されたイベントの時空間情報が最初にsnn層によってエンコードされ、その後、スタイル転送cnnデコーダによってオクルードされたターゲットの視覚画像に変換される。 実験により,非常に密集したオクルージョンと極端な照明条件に対処し,純イベントデータを用いて高品質な視覚画像を再構成できることを示す。

関連論文リスト

• A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
  イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。 これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。 スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-04-26T11:32:53Z)
• TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
  BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。 本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。 空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。 チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
  論文  参考訳（メタデータ） (2024-04-11T15:39:10Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• Learning to See Through with Events [37.19232535463858]
  本稿では,極めて低レイテンシかつ高ダイナミックレンジの非同期イベントに依存するイベントベースSAI(E-SAI)手法を提案する。 収集されたイベントは、最初にRe-focus-Netモジュールによって再フォーカスされ、オフフォーカスイベントを散乱しながら、インフォーカスイベントを調整する。 スパイクニューラルネットワーク (SNN) と畳み込みニューラルネットワーク (CNN) を組み合わせたハイブリッドネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T12:51:22Z)
• INFWIDE: Image and Feature Space Wiener Deconvolution Network for Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
  画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。 INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。 合成データと実データを用いた実験は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-17T15:22:31Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Combining Events and Frames using Recurrent Asynchronous Multimodal Networks for Monocular Depth Prediction [51.072733683919246]
  複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。 従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。 平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:24:35Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)
• Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
  本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。 このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
  論文  参考訳（メタデータ） (2020-03-14T20:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。