論文の概要: Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with Parallel Spike-driven Transformer

• arxiv url: http://arxiv.org/abs/2402.04798v3
• Date: Wed, 02 Oct 2024 11:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:11.337402
• Title: Spiking-PhysFormer: Camera-Based Remote Photoplethysmography with Parallel Spike-driven Transformer
• Title（参考訳）: Spiking-PhysFormer:Parallel Spike-driven Transformerを用いたカメラによるリモート光胸像撮影
• Authors: Mingxuan Liu, Jiankai Tang, Yongli Chen, Haoxiang Li, Jiahao Qi, Siwei Li, Kegang Wang, Jie Gan, Yuntao Wang, Hong Chen,
• Abstract要約: スパイキングネットワーク(SNN)は、エネルギー効率のよいディープラーニングの可能性を秘めている。 本稿では,消費電力削減を目的としたハイブリッドニューラルネットワーク(HNN)モデルであるSpking-PhysFormerを提案する。 提案モデルでは,PhysFormerと比較して12.4%の消費電力削減を実現している。
• 参考スコア（独自算出の注目度）: 15.08113674331192
• License:
• Abstract: Artificial neural networks (ANNs) can help camera-based remote photoplethysmography (rPPG) in measuring cardiac activity and physiological signals from facial videos, such as pulse wave, heart rate and respiration rate with better accuracy. However, most existing ANN-based methods require substantial computing resources, which poses challenges for effective deployment on mobile devices. Spiking neural networks (SNNs), on the other hand, hold immense potential for energy-efficient deep learning owing to their binary and event-driven architecture. To the best of our knowledge, we are the first to introduce SNNs into the realm of rPPG, proposing a hybrid neural network (HNN) model, the Spiking-PhysFormer, aimed at reducing power consumption. Specifically, the proposed Spiking-PhyFormer consists of an ANN-based patch embedding block, SNN-based transformer blocks, and an ANN-based predictor head. First, to simplify the transformer block while preserving its capacity to aggregate local and global spatio-temporal features, we design a parallel spike transformer block to replace sequential sub-blocks. Additionally, we propose a simplified spiking self-attention mechanism that omits the value parameter without compromising the model's performance. Experiments conducted on four datasets-PURE, UBFC-rPPG, UBFC-Phys, and MMPD demonstrate that the proposed model achieves a 12.4\% reduction in power consumption compared to PhysFormer. Additionally, the power consumption of the transformer block is reduced by a factor of 12.2, while maintaining decent performance as PhysFormer and other ANN-based models.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は、脈波、心拍数、呼吸速度などの顔の映像から心臓活動と生理的信号を測定するのに、カメラベースのリモート光胸腺撮影(rPPG)に役立つ。 しかし、既存のANNベースのほとんどの手法は、かなりの計算資源を必要とするため、モバイルデバイスに効果的に配置する上での課題が生じる。 一方、スパイキングニューラルネットワーク(SNN)は、そのバイナリとイベント駆動アーキテクチャにより、エネルギー効率のよいディープラーニングの潜在能力を秘めている。 我々の知る限り、私たちは、電力消費量を減らすことを目的としたハイブリッドニューラルネットワーク(HNN)モデルであるSpking-PhysFormerを提案しながら、初めてRPPGの領域にSNNを導入しました。 具体的には、提案されたSpking-PhyFormerは、ANNベースのパッチ埋め込みブロック、SNNベースのトランスフォーマーブロック、およびANNベースの予測ヘッドで構成される。 まず, 局所的および大域的時空間的特徴を集約する能力を維持しつつ, 変圧器ブロックの簡易化を図るため, 逐次サブブロックを置き換える並列スパイク変圧器ブロックを設計する。 さらに,モデルの性能を損なうことなく,パラメータを省略する簡易な自己保持機構を提案する。 4つのデータセット(PURE, UBFC-rPPG, UBFC-Phys, MMPD)で行った実験により, 提案モデルがPhysFormerと比較して12.4倍の消費電力削減を実現していることが示された。 さらに、トランスブロックの消費電力は12.2倍に削減され、PhysFormerや他のANNベースのモデルとして優れた性能を維持した。

関連論文リスト

• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• SDiT: Spiking Diffusion Model with Transformer [1.7630597106970465]
  スパイキングニューラルネットワーク(SNN)は消費電力が低く、生物解釈可能な特性を持つ。 我々は、主流拡散モデルにおいてよく使われるU-net構造を置き換えるためにトランスフォーマーを利用する。 比較的低い計算コストと短いサンプリング時間で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2024-02-18T13:42:11Z)
• NiSNN-A: Non-iterative Spiking Neural Networks with Attention with Application to Motor Imagery EEG Classification [7.430549997480745]
  運動画像は脳波(EEG)研究において重要なカテゴリである。 従来のディープラーニングアルゴリズムは、重要な計算要求と高エネルギー利用によって特徴付けられる。 スパイクニューラルネットワーク(SNN)は、有望なエネルギー効率のソリューションとして出現する。
  論文  参考訳（メタデータ） (2023-12-09T19:13:15Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Auto-Spikformer: Spikformer Architecture Search [22.332981906087785]
  自己注意機構がスパイキングニューラルネットワーク(SNN)に統合された SpikformerのようなSNNアーキテクチャの最近の進歩は、有望な成果を示している。 最適化されたSpikformerアーキテクチャの探索を自動化する一発トランスフォーマーアーキテクチャ検索(TAS)手法であるAuto-Spikformerを提案する。
  論文  参考訳（メタデータ） (2023-06-01T15:35:26Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• A Spiking Neural Network for Image Segmentation [3.4998703934432682]
  我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。 レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。 Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
  論文  参考訳（メタデータ） (2021-06-16T16:23:18Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。