論文の概要: Efficient Gesture Recognition on Spiking Convolutional Networks Through
Sensor Fusion of Event-Based and Depth Data
- arxiv url: http://arxiv.org/abs/2401.17064v1
- Date: Tue, 30 Jan 2024 14:42:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 14:44:54.191446
- Title: Efficient Gesture Recognition on Spiking Convolutional Networks Through
Sensor Fusion of Event-Based and Depth Data
- Title(参考訳): イベントベースおよび深度データのセンサフュージョンによるスパイキング畳み込みネットワークの効率的なジェスチャー認識
- Authors: Lea Steffen, Thomas Trapp, Arne Roennau, R\"udiger Dillmann
- Abstract要約: 本研究は,ジェスチャー認識のためのイベントおよび深度データを処理するスパイキング畳み込みニューラルネットワークを提案する。
このネットワークは、オープンソースのニューロモルフィックコンピューティングフレームワークLAVAを用いて、組込みシステム上でのオフライントレーニングと評価をシミュレートする。
- 参考スコア(独自算出の注目度): 1.474723404975345
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As intelligent systems become increasingly important in our daily lives, new
ways of interaction are needed. Classical user interfaces pose issues for the
physically impaired and are partially not practical or convenient. Gesture
recognition is an alternative, but often not reactive enough when conventional
cameras are used. This work proposes a Spiking Convolutional Neural Network,
processing event- and depth data for gesture recognition. The network is
simulated using the open-source neuromorphic computing framework LAVA for
offline training and evaluation on an embedded system. For the evaluation three
open source data sets are used. Since these do not represent the applied
bi-modality, a new data set with synchronized event- and depth data was
recorded. The results show the viability of temporal encoding on depth
information and modality fusion, even on differently encoded data, to be
beneficial to network performance and generalization capabilities.
- Abstract(参考訳): 日常生活においてインテリジェントなシステムがますます重要になるにつれて、新たなインタラクション方法が求められます。
古典的なユーザーインターフェイスは身体障害者に問題を引き起こし、部分的には実用的でも便利でもない。
ジェスチャー認識は代替手段だが、従来のカメラでは十分に反応しないことが多い。
本研究は,ジェスチャー認識のためのイベントおよび深度データを処理するスパイキング畳み込みニューラルネットワークを提案する。
このネットワークは、オープンソースのニューロモルフィックコンピューティングフレームワークLAVAを用いて、組込みシステムのオフライントレーニングと評価を行う。
評価には3つのオープンソースデータセットを使用する。
これらは応用されたバイモダリティを表現していないため、イベントと深さデータを同期した新しいデータセットが記録された。
その結果,深度情報に対する時間的エンコーディングと,異なるエンコードされたデータに対するモダリティ融合は,ネットワーク性能と一般化能力に有益であることが示唆された。
関連論文リスト
- Deep Homography Estimation for Visual Place Recognition [51.70437924779968]
本稿では,変換器を用いたディープホモグラフィー推定(DHE)ネットワークを提案する。
バックボーンネットワークによって抽出された濃密な特徴写像を入力とし、高速で学習可能な幾何的検証のためにホモグラフィーに適合する。
ベンチマークデータセットを用いた実験により,本手法はいくつかの最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-25T13:22:17Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Deep Learning for real-time neural decoding of grasp [0.0]
本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。
提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
論文 参考訳(メタデータ) (2023-11-02T08:26:29Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2022-09-12T15:05:41Z) - Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic
Communication [85.06664206117088]
6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。
観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。
GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
論文 参考訳(メタデータ) (2022-05-22T07:11:57Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:20:52Z) - AttDLNet: Attention-based DL Network for 3D LiDAR Place Recognition [0.6352264764099531]
本稿では,AttDLNetという3次元LiDARに基づくディープラーニングネットワークを提案する。
注意機構を利用して、長距離コンテキストと機能間関係に選択的にフォーカスする。
その結果、エンコーダネットワークの機能は、すでに非常に説明力があるが、ネットワークに注意を加えることで、パフォーマンスがさらに向上していることがわかった。
論文 参考訳(メタデータ) (2021-06-17T16:34:37Z) - Learning from Event Cameras with Sparse Spiking Convolutional Neural
Networks [0.0]
畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。
イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。
この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-04-26T13:52:01Z) - Towards Improved Human Action Recognition Using Convolutional Neural
Networks and Multimodal Fusion of Depth and Inertial Sensor Data [1.52292571922932]
本稿では,深度と慣性センサデータの融合によるヒューマンアクション認識(HAR)の精度向上を試みる。
我々は、深度データを逐次フロントビューイメージ(SFI)に変換し、これらの画像上でトレーニング済みのAlexNetを微調整する。
慣性データを信号画像(SI)に変換し、これらの画像上で別の畳み込みニューラルネットワーク(CNN)を訓練する。
論文 参考訳(メタデータ) (2020-08-22T03:41:34Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳(メタデータ) (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。