論文の概要: Naturalizing Neuromorphic Vision Event Streams Using GANs
- arxiv url: http://arxiv.org/abs/2102.07243v1
- Date: Sun, 14 Feb 2021 20:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 03:11:10.219418
- Title: Naturalizing Neuromorphic Vision Event Streams Using GANs
- Title（参考訳）: GANを用いたニューロモルフィックビジョンイベントストリームの自然化
- Authors: Dennis Robey, Wesley Thio, Herbert Iu, Jason Eshraghian
- Abstract要約: ニューロモルフィックビジョンに関連する課題の1つは、イベントストリームの解釈可能性の欠如である。
本稿では、スパイク変換CIFAR-10およびLinnaeus 5データセットからイベントストリームを帰化するためにPix2Pixネットワークを適用します。
ネットワークの品質は、自然化イベントストリームの画像分類を実行することでベンチマークされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic vision sensors are able to operate at high temporal resolutions
within resource constrained environments, though at the expense of capturing
static content. The sparse nature of event streams enables efficient downstream
processing tasks as they are suited for power-efficient spiking neural
networks. One of the challenges associated with neuromorphic vision is the lack
of interpretability of event streams. While most application use-cases do not
intend for the event stream to be visually interpreted by anything other than a
classification network, there is a lost opportunity to integrating these
sensors in spaces that conventional high-speed CMOS sensors cannot go. For
example, biologically invasive sensors such as endoscopes must fit within
stringent power budgets, which do not allow MHz-speeds of image integration.
While dynamic vision sensing can fill this void, the interpretation challenge
remains and will degrade confidence in clinical diagnostics. The use of
generative adversarial networks presents a possible solution to overcoming and
compensating for a vision chip's poor spatial resolution and lack of
interpretability. In this paper, we methodically apply the Pix2Pix network to
naturalize the event stream from spike-converted CIFAR-10 and Linnaeus 5
datasets. The quality of the network is benchmarked by performing image
classification of naturalized event streams, which converges to within 2.81% of
equivalent raw images, and an associated improvement over unprocessed event
streams by 13.19% for the CIFAR-10 and Linnaeus 5 datasets.
- Abstract（参考訳）: ダイナミックビジョンセンサーは、静的コンテンツのキャプチャを犠牲にしながら、リソース制限された環境内で高い時間分解能で動作することができる。
イベントストリームのスパースの性質は、電力効率のよいスパイクニューラルネットワークに適した、効率的な下流処理タスクを可能にする。
ニューロモルフィックビジョンに関連する課題の1つは、イベントストリームの解釈可能性の欠如である。
ほとんどのアプリケーションユースケースでは、イベントストリームが分類ネットワーク以外に視覚的に解釈されることを意図していないが、従来の高速CMOSセンサーでは不可能な空間にこれらのセンサーを統合する機会は失われている。
例えば、生物学的に侵入する内視鏡のようなセンサーは、画像統合のMHz速度を許さない、厳しい電力予算に収まらなければならない。
動的視覚センサーはこの空白を埋めることができるが、解釈課題は残り、臨床診断における信頼性を低下させる。
生成的敵ネットワークの使用は、視覚チップの空間解像度の低下と解釈可能性の欠如に対する克服と補償の可能な解決策を示す。
本稿では、Pix2Pixネットワークを用いて、スパイク変換したCIFAR-10とLinnaeus 5のデータセットからイベントストリームを自然化する。
ネットワークの品質は、同等の生画像の2.81%以内に収束する自然化イベントストリームの画像分類を行い、CIFAR-10およびLinnaeus 5データセットの未処理イベントストリームに対する13.19%の改善によってベンチマークされる。
関連論文リスト
- LMBF-Net: A Lightweight Multipath Bidirectional Focal Attention Network for Multifeatures Segmentation [15.091476025563528]
網膜疾患は、早期に診断や治療を受けなければ、両眼で不可逆的な視力喪失を引き起こす可能性がある。
多くのラベルや属性で網膜画像をセグメント化するための現在のディープラーニング技術は、検出精度と一般性に乏しい。
本稿では,多機能セグメンテーションのためのマルチパス畳み込みニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-03T07:37:09Z) - Classification robustness to common optical aberrations [64.08840063305313]
本稿では,現実的かつ実用的な光ぼけ効果に対するロバスト性を調べるためのベンチマークである OpticsBench を提案する。
ImageNetの実験では、様々な訓練済みのDNNに対して、ディスク形状のカーネルと比較して、パフォーマンスが強いことが示されている。
我々は,光カーネルをデータ拡張として使用することにより,拡張可能なImageNet-100について述べる。
論文 参考訳（メタデータ） (2023-08-29T08:36:00Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳（メタデータ） (2023-03-17T18:00:27Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。
近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。
本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。
本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-31T15:55:37Z) - Neuromorphic Camera Denoising using Graph Neural Network-driven
Transformers [3.805262583092311]
ニューロモルフィック・ビジョン(Neuromorphic vision)は、コンピュータビジョンコミュニティのパラダイムシフトを引き起こしたバイオインスパイアされた技術である。
ニューロモルフィックカメラは、かなりの量の計測ノイズに悩まされている。
このノイズは、ニューロモルフィック事象に基づく知覚とナビゲーションアルゴリズムの性能を劣化させる。
論文 参考訳（メタデータ） (2021-12-17T18:57:36Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Adversarial Attacks on Spiking Convolutional Networks for Event-based
Vision [0.6999740786886537]
我々は、ホワイトボックスの敵対的攻撃アルゴリズムが、イベントベースの視覚データの離散的かつスパースな性質にどのように適応できるかを示す。
また、ニューロモルフィックハードウェア上でのこれらの摂動の有効性を初めて検証した。
論文 参考訳（メタデータ） (2021-10-06T17:20:05Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - Fast Motion Understanding with Spatiotemporal Neural Networks and
Dynamic Vision Sensors [99.94079901071163]
本稿では,高速な動きを推論するための動的視覚センサ(DVS)システムを提案する。
ロボットが15m/s以上の速度で接近する小さな物体に反応するケースを考察する。
我々は,23.4m/sで24.73degの誤差を$theta$,18.4mmの平均離散半径予測誤差,衝突予測誤差に対する25.03%の中央値で移動した玩具ダートについて,本システムの結果を強調した。
論文 参考訳（メタデータ） (2020-11-18T17:55:07Z) - HyNNA: Improved Performance for Neuromorphic Vision Sensor based
Surveillance using Hybrid Neural Network Architecture [7.293414498855147]
領域提案のための形態素画像処理アルゴリズムを用いて,最近提案されたハイブリッドイベントフレームアプローチを改善した。
また、様々な畳み込みニューラルネットワーク(CNN)アーキテクチャを探索することにより、オブジェクト検出と分類の低消費電力要求にも対処する。
具体的には、対象検出フレームワークから得られた結果を最先端の低出力NVS監視システムと比較し、63.1%から82.16%の改善精度を示した。
論文 参考訳（メタデータ） (2020-03-19T07:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。