論文の概要: Spiking-Fer: Spiking Neural Network for Facial Expression Recognition With Event Cameras

• arxiv url: http://arxiv.org/abs/2304.10211v1
• Date: Thu, 20 Apr 2023 10:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 13:51:59.870114
• Title: Spiking-Fer: Spiking Neural Network for Facial Expression Recognition With Event Cameras
• Title（参考訳）: Spiking-Fer: イベントカメラによる表情認識のためのスパイクニューラルネットワーク
• Authors: Sami Barchid, Benjamin Allaert, Amel Aissaoui, Jos\'e Mennesson, Chaabane Dj\'eraba
• Abstract要約: Spiking-FER」は深層畳み込みSNNモデルであり、類似したニューラルネットワーク(ANN)と比較する。 実験の結果,提案手法はANNアーキテクチャに匹敵する性能を達成し,最大65.39倍のエネルギーを消費することがわかった。
• 参考スコア（独自算出の注目度）: 2.9398911304923447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial Expression Recognition (FER) is an active research domain that has shown great progress recently, notably thanks to the use of large deep learning models. However, such approaches are particularly energy intensive, which makes their deployment difficult for edge devices. To address this issue, Spiking Neural Networks (SNNs) coupled with event cameras are a promising alternative, capable of processing sparse and asynchronous events with lower energy consumption. In this paper, we establish the first use of event cameras for FER, named "Event-based FER", and propose the first related benchmarks by converting popular video FER datasets to event streams. To deal with this new task, we propose "Spiking-FER", a deep convolutional SNN model, and compare it against a similar Artificial Neural Network (ANN). Experiments show that the proposed approach achieves comparable performance to the ANN architecture, while consuming less energy by orders of magnitude (up to 65.39x). In addition, an experimental study of various event-based data augmentation techniques is performed to provide insights into the efficient transformations specific to event-based FER.
• Abstract（参考訳）: 顔の表情認識(FER)は、特に大規模なディープラーニングモデルの使用により、近年大きな進歩を見せている活発な研究領域である。 しかし、このようなアプローチは特にエネルギー集約的であり、エッジデバイスでは展開が困難である。 この問題に対処するため、Spiking Neural Networks(SNN)とイベントカメラの組み合わせは、より少ないエネルギー消費でスパースおよび非同期イベントを処理できる有望な代替手段である。 本稿では,fer のイベントカメラを最初に使用した "Event-based FER" と題して,一般的な FER データセットをイベントストリームに変換することで,関連するベンチマークを提案する。 この新しい課題に対処するために,我々は,深い畳み込み型snモデルである"spiking-fer"を提案し,類似したニューラルネットワーク(ann)と比較する。 実験により、提案手法はannアーキテクチャに匹敵する性能を達成し、最大65.39倍のエネルギー消費を削減できることが示されている。 さらに,各種イベントベースデータ拡張手法の実験的検討を行い,イベントベースFERに特有の効率的な変換について考察した。

関連論文リスト

• Spiking Neural Network as Adaptive Event Stream Slicer [10.279359105384334]
  イベントベースのカメラは、リッチエッジ情報、高ダイナミックレンジ、高時間分解能を提供する。 最先端のイベントベースのアルゴリズムの多くは、イベントを固定グループに分割することに依存しており、重要な時間情報の欠落をもたらす。 SpikeSlicerは、イベントストリームを適応的に分割可能な、新規に設計されたプラグアンドプレイイベント処理方式である。
  論文  参考訳（メタデータ） (2024-10-03T06:41:10Z)
• Spike-EVPR: Deep Spiking Residual Network with Cross-Representation Aggregation for Event-Based Visual Place Recognition [4.357768397230497]
  深層人工ニューラルネットワーク(ANN)を用いた視覚的位置認識(VPR)タスクへのイベントカメラの適用に成功している 本稿では,イベントベースVPRタスクのためのスパイクEVPRと呼ばれる新しいディープスパイクネットワークアーキテクチャを提案する。 上記の課題に対処するため、イベントベースVPRタスクのためのSpike-EVPRと呼ばれる新しいディープスパイクネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-16T06:45:25Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
  非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:26:02Z)
• MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network [8.53512216864715]
  スパイキングニューラルネットワークは、イベントカメラタスクの処理に適していると考えられる、新しいイベントベースの計算パラダイムである。 この研究は、新しい残差ブロックと多次元アテンションモジュールを組み合わせたスパイクニューラルネットワークアーキテクチャを提案する。 このモデルはMVSECデータセットで同じ大きさのANNネットワークより優れており、計算効率が高い。
  論文  参考訳（メタデータ） (2022-11-22T10:35:36Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
  我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。 我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-26T07:31:51Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• The FaceChannel: A Light-weight Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  FER自動化のための現在の最先端モデルは、訓練が難しい非常に深いニューラルネットワークに基づいている。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 私たちは、FaceChannelが、FERの現在の最先端技術と比較して、同等の、たとえそうでなくても、パフォーマンスを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-04-17T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。