論文の概要: Neuromorphic Camera Denoising using Graph Neural Network-driven
Transformers
- arxiv url: http://arxiv.org/abs/2112.09685v1
- Date: Fri, 17 Dec 2021 18:57:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 15:48:54.956470
- Title: Neuromorphic Camera Denoising using Graph Neural Network-driven
Transformers
- Title（参考訳）: グラフニューラルネットワーク駆動型トランスを用いたニューロモルフィックカメラデノイング
- Authors: Yusra Alkendi, Rana Azzam, Abdulla Ayyad, Sajid Javed, Lakmal
Seneviratne, and Yahya Zweiri
- Abstract要約: ニューロモルフィック・ビジョン(Neuromorphic vision)は、コンピュータビジョンコミュニティのパラダイムシフトを引き起こしたバイオインスパイアされた技術である。
ニューロモルフィックカメラは、かなりの量の計測ノイズに悩まされている。
このノイズは、ニューロモルフィック事象に基づく知覚とナビゲーションアルゴリズムの性能を劣化させる。
- 参考スコア（独自算出の注目度）: 3.805262583092311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuromorphic vision is a bio-inspired technology that has triggered a
paradigm shift in the computer-vision community and is serving as a key-enabler
for a multitude of applications. This technology has offered significant
advantages including reduced power consumption, reduced processing needs, and
communication speed-ups. However, neuromorphic cameras suffer from significant
amounts of measurement noise. This noise deteriorates the performance of
neuromorphic event-based perception and navigation algorithms. In this paper,
we propose a novel noise filtration algorithm to eliminate events which do not
represent real log-intensity variations in the observed scene. We employ a
Graph Neural Network (GNN)-driven transformer algorithm, called
GNN-Transformer, to classify every active event pixel in the raw stream into
real-log intensity variation or noise. Within the GNN, a message-passing
framework, called EventConv, is carried out to reflect the spatiotemporal
correlation among the events, while preserving their asynchronous nature. We
also introduce the Known-object Ground-Truth Labeling (KoGTL) approach for
generating approximate ground truth labels of event streams under various
illumination conditions. KoGTL is used to generate labeled datasets, from
experiments recorded in challenging lighting conditions. These datasets are
used to train and extensively test our proposed algorithm. When tested on
unseen datasets, the proposed algorithm outperforms existing methods by 12% in
terms of filtration accuracy. Additional tests are also conducted on publicly
available datasets to demonstrate the generalization capabilities of the
proposed algorithm in the presence of illumination variations and different
motion dynamics. Compared to existing solutions, qualitative results verified
the superior capability of the proposed algorithm to eliminate noise while
preserving meaningful scene events.
- Abstract（参考訳）: ニューロモルフィックビジョン(neuromorphic vision)は、バイオインスパイアされた技術であり、コンピュータビジョンコミュニティのパラダイムシフトを引き起こし、多数のアプリケーションのためのキーエナブルとして機能している。
この技術は消費電力の削減、処理の必要性の低減、通信速度アップといった大きな利点を提供している。
しかし、ニューロモルフィックカメラはかなりの量の計測ノイズに悩まされている。
このノイズは、ニューロモルフィック事象に基づく知覚とナビゲーションアルゴリズムの性能を劣化させる。
本稿では,観測シーンにおける実対数強度の変動を表現できない事象を除去する新しいノイズフィルタアルゴリズムを提案する。
GNN-Transformerと呼ばれるグラフニューラルネットワーク駆動のトランスフォーマーアルゴリズムを用いて、生ストリーム内のすべてのアクティブなイベントピクセルを実ログ強度の変動やノイズに分類する。
GNN内では、EventConvと呼ばれるメッセージパッシングフレームワークが実行され、非同期性を維持しながら、イベント間の時空間的相関を反映する。
また,様々な照明条件下でのイベントストリームの基底真理ラベルを生成するために,Known-object Ground-Truth Labeling (KoGTL)アプローチを導入する。
KoGTLは、困難な照明条件で記録された実験からラベル付きデータセットを生成するために使用される。
これらのデータセットは、提案したアルゴリズムをトレーニングし、広範囲にテストするために使用される。
未発見のデータセットでテストすると、提案アルゴリズムは濾過精度の点で既存の手法を12%上回る。
また、照明のバリエーションと異なる動きのダイナミクスの存在下で、提案アルゴリズムの一般化能力を示すために、公開データセット上で追加試験を行う。
既存のソリューションと比較して,定性的な結果は,意味のあるシーンイベントを保存しながらノイズを除去するアルゴリズムの優れた性能を検証した。
関連論文リスト
- Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network [4.386534439007928]
本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。
提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。
GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-16T22:44:29Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Hyperspectral Image Denoising via Self-Modulating Convolutional Neural
Networks [15.700048595212051]
相関スペクトルと空間情報を利用した自己変調畳み込みニューラルネットワークを提案する。
モデルの中心には新しいブロックがあり、隣り合うスペクトルデータに基づいて、ネットワークが適応的に特徴を変換することができる。
合成データと実データの両方の実験解析により,提案したSM-CNNは,他の最先端HSI復調法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-09-15T06:57:43Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral
Image Denoising [9.119226249676501]
ハイパースペクトル画像(HSI)は、帯域幅が狭いため、ノイズが多いことが多い。
HSIデータキューブのノイズを低減するため、モデル駆動型と学習型の両方の復調アルゴリズムが提案されている。
本稿では,これらの問題に対処するDNA-Net(Degradation-Noise-Aware Unfolding Network)を提案する。
論文 参考訳（メタデータ） (2023-05-06T13:28:20Z) - Multi-stage image denoising with the wavelet transform [125.2251438120701]
深部畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、正確な構造情報を自動マイニングすることで、画像の復調に使用される。
動的畳み込みブロック(DCB)、2つのカスケードウェーブレット変換および拡張ブロック(WEB)、残留ブロック(RB)の3段階を経由した、MWDCNNによるCNNの多段階化を提案する。
論文 参考訳（メタデータ） (2022-09-26T03:28:23Z) - Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。
トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。
AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
論文 参考訳（メタデータ） (2022-03-24T18:11:31Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Image Denoising using Attention-Residual Convolutional Neural Networks [0.0]
本稿では,学習に基づく新たな非盲検手法であるAttention Residual Convolutional Neural Network (ARCNN)を提案し,その拡張としてFlexible Attention Residual Convolutional Neural Network (FARCNN)を提案する。
ARCNNはガウス語とポアソン語で約0.44dBと0.96dBの平均PSNR結果を達成し、FARCNNはARCNNに比べて若干パフォーマンスが悪くても非常に一貫した結果を示した。
論文 参考訳（メタデータ） (2021-01-19T16:37:57Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳（メタデータ） (2020-07-07T06:51:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。