論文の概要: RetinaNet: Reservoir-Enabled Time Integrated Attention Network for Event-based Video Processing

• arxiv url: http://arxiv.org/abs/2303.10770v1
• Date: Sun, 19 Mar 2023 21:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 17:16:53.801486
• Title: RetinaNet: Reservoir-Enabled Time Integrated Attention Network for Event-based Video Processing
• Title（参考訳）: RetinaNet: イベントベースのビデオ処理のためのReservoir-Enabled Time Integrated Attention Network
• Authors: Sangmin Yoo, Eric Yeu-Jer Lee, Ziyu Wang, Xinxin Wang, Wei D. Lu
• Abstract要約: イベントベースのカメラは、生物学的視覚系のスパースかつ非同期スパイク表現にインスパイアされている。 本稿では,動的時間的エンコード貯留層と統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 8.680149712138423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event-based cameras are inspired by the sparse and asynchronous spike representation of the biological visual system. However, processing the even data requires either using expensive feature descriptors to transform spikes into frames, or using spiking neural networks that are difficult to train. In this work, we propose a neural network architecture based on simple convolution layers integrated with dynamic temporal encoding reservoirs with low hardware and training costs. The Reservoir-enabled Time Integrated Attention Network (RetinaNet) allows the network to efficiently process asynchronous temporal features, and achieves the highest accuracy of 99.2% for DVS128 Gesture reported to date, and one of the highest accuracy of 67.5% for DVS Lip dataset at a much smaller network size. By leveraging the internal dynamics of memristors, asynchronous temporal feature encoding can be implemented at very low hardware cost without preprocessing or dedicated memory and arithmetic units. The use of simple DNN blocks and backpropagation based training rules further reduces its implementation cost. Code will be publicly available.
• Abstract（参考訳）: イベントベースのカメラは、生物学的視覚システムのスパースかつ非同期なスパイク表現にインスパイアされている。 しかし、偶数データの処理には高価な特徴記述子を使用してスパイクをフレームに変換するか、トレーニングが難しいスパイクニューラルネットワークを使用するかが必要となる。 本研究では,ハードウェアとトレーニングコストの低い動的時間エンコード型貯水池と統合された単純な畳み込み層に基づくニューラルネットワークアーキテクチャを提案する。 Reservoir 対応の Time Integrated Attention Network (RetinaNet) により、ネットワークは非同期の時間的特徴を効率的に処理でき、これまで報告された DVS128 Gesture の 99.2% の精度と、より小さなネットワークサイズでの DVS Lip データセットの 67.5% の最高精度を達成する。 memristorの内部ダイナミクスを活用することで、非同期の時間的特徴エンコーディングは、プリプロセッシングや専用メモリや演算ユニットなしで非常に低いハードウェアコストで実装できる。 単純なDNNブロックとバックプロパゲーションベースのトレーニングルールを使用することで、実装コストをさらに削減できる。 コードは公開されます。

関連論文リスト

• EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
  EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。 本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。 DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-20T10:36:24Z)
• Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
  イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である 教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。 分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
  論文  参考訳（メタデータ） (2023-02-13T16:17:54Z)
• MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network [8.53512216864715]
  スパイキングニューラルネットワークは、イベントカメラタスクの処理に適していると考えられる、新しいイベントベースの計算パラダイムである。 この研究は、新しい残差ブロックと多次元アテンションモジュールを組み合わせたスパイクニューラルネットワークアーキテクチャを提案する。 このモデルはMVSECデータセットで同じ大きさのANNネットワークより優れており、計算効率が高い。
  論文  参考訳（メタデータ） (2022-11-22T10:35:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。