論文の概要: Efficient Gesture Recognition on Spiking Convolutional Networks Through Sensor Fusion of Event-Based and Depth Data

• arxiv url: http://arxiv.org/abs/2401.17064v1
• Date: Tue, 30 Jan 2024 14:42:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 14:44:54.191446
• Title: Efficient Gesture Recognition on Spiking Convolutional Networks Through Sensor Fusion of Event-Based and Depth Data
• Title（参考訳）: イベントベースおよび深度データのセンサフュージョンによるスパイキング畳み込みネットワークの効率的なジェスチャー認識
• Authors: Lea Steffen, Thomas Trapp, Arne Roennau, R\"udiger Dillmann
• Abstract要約: 本研究は,ジェスチャー認識のためのイベントおよび深度データを処理するスパイキング畳み込みニューラルネットワークを提案する。 このネットワークは、オープンソースのニューロモルフィックコンピューティングフレームワークLAVAを用いて、組込みシステム上でのオフライントレーニングと評価をシミュレートする。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As intelligent systems become increasingly important in our daily lives, new ways of interaction are needed. Classical user interfaces pose issues for the physically impaired and are partially not practical or convenient. Gesture recognition is an alternative, but often not reactive enough when conventional cameras are used. This work proposes a Spiking Convolutional Neural Network, processing event- and depth data for gesture recognition. The network is simulated using the open-source neuromorphic computing framework LAVA for offline training and evaluation on an embedded system. For the evaluation three open source data sets are used. Since these do not represent the applied bi-modality, a new data set with synchronized event- and depth data was recorded. The results show the viability of temporal encoding on depth information and modality fusion, even on differently encoded data, to be beneficial to network performance and generalization capabilities.
• Abstract（参考訳）: 日常生活においてインテリジェントなシステムがますます重要になるにつれて、新たなインタラクション方法が求められます。 古典的なユーザーインターフェイスは身体障害者に問題を引き起こし、部分的には実用的でも便利でもない。 ジェスチャー認識は代替手段だが、従来のカメラでは十分に反応しないことが多い。 本研究は,ジェスチャー認識のためのイベントおよび深度データを処理するスパイキング畳み込みニューラルネットワークを提案する。 このネットワークは、オープンソースのニューロモルフィックコンピューティングフレームワークLAVAを用いて、組込みシステムのオフライントレーニングと評価を行う。 評価には3つのオープンソースデータセットを使用する。 これらは応用されたバイモダリティを表現していないため、イベントと深さデータを同期した新しいデータセットが記録された。 その結果,深度情報に対する時間的エンコーディングと,異なるエンコードされたデータに対するモダリティ融合は,ネットワーク性能と一般化能力に有益であることが示唆された。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic Communication [85.06664206117088]
  6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。 観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。 GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
  論文  参考訳（メタデータ） (2022-05-22T07:11:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• AttDLNet: Attention-based DL Network for 3D LiDAR Place Recognition [0.6352264764099531]
  本稿では,AttDLNetという3次元LiDARに基づくディープラーニングネットワークを提案する。 注意機構を利用して、長距離コンテキストと機能間関係に選択的にフォーカスする。 その結果、エンコーダネットワークの機能は、すでに非常に説明力があるが、ネットワークに注意を加えることで、パフォーマンスがさらに向上していることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T16:34:37Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data [1.52292571922932]
  本稿では,深度と慣性センサデータの融合によるヒューマンアクション認識(HAR)の精度向上を試みる。 我々は、深度データを逐次フロントビューイメージ(SFI)に変換し、これらの画像上でトレーニング済みのAlexNetを微調整する。 慣性データを信号画像(SI)に変換し、これらの画像上で別の畳み込みニューラルネットワーク(CNN)を訓練する。
  論文  参考訳（メタデータ） (2020-08-22T03:41:34Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。