論文の概要: RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos
- arxiv url: http://arxiv.org/abs/2404.06483v1
- Date: Tue, 9 Apr 2024 17:34:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 13:42:03.022397
- Title: RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos
- Title（参考訳）: RhythmMamba: 任意長ビデオによる高速リモート生理計測
- Authors: Bochao Zou, Zizheng Guo, Xiaocheng Hu, Huimin Ma,
- Abstract要約: 本稿ではRhythmMambaについて紹介する。RhythmMambaはマルチテンポラリマンバを用いて周期パターンと短期トレンドの両方を制約するエンド・ツー・エンドの手法である。
大規模な実験により、RhythmMambaはパラメータを減らし計算複雑性を下げた最先端の性能を示した。
- 参考スコア（独自算出の注目度）: 10.132660483466239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals from facial videos, holding great potential in various applications such as healthcare, affective computing, and anti-spoofing. Existing deep learning methods struggle to address two core issues of rPPG simultaneously: extracting weak rPPG signals from video segments with large spatiotemporal redundancy and understanding the periodic patterns of rPPG among long contexts. This represents a trade-off between computational complexity and the ability to capture long-range dependencies, posing a challenge for rPPG that is suitable for deployment on mobile devices. Based on the in-depth exploration of Mamba's comprehension of spatial and temporal information, this paper introduces RhythmMamba, an end-to-end Mamba-based method that employs multi-temporal Mamba to constrain both periodic patterns and short-term trends, coupled with frequency domain feed-forward to enable Mamba to robustly understand the quasi-periodic patterns of rPPG. Extensive experiments show that RhythmMamba achieves state-of-the-art performance with reduced parameters and lower computational complexity. The proposed RhythmMamba can be applied to video segments of any length without performance degradation. The codes are available at https://github.com/zizheng-guo/RhythmMamba.
- Abstract（参考訳）: リモート光胸腺造影法(Remote Photoplethysmography, RPPG)は、顔画像から生理的信号を検出する非接触法であり、医療、感情コンピューティング、アンチ・スプーフィングなどの様々な応用において大きな可能性を秘めている。
既存のディープラーニング手法では,rPPGの時間的冗長度が大きいビデオセグメントから弱いrPPG信号を抽出し,長いコンテキストにおけるrPPGの周期的パターンを理解するという,rPPGの2つの問題に同時に対処することが困難である。
これは、計算複雑性と長距離依存関係をキャプチャする能力のトレードオフであり、モバイルデバイスへのデプロイに適したrPPGにとっての課題である。
本稿では,空間的・時間的情報に関するマンバの深い理解に基づいて,RhythmMambaを紹介する。RhythmMambaは,複数の時間的マンバを用いた,周期的パターンと短期的傾向の両方を制約する手法で,周波数領域のフィードフォワードと組み合わせることで,マンバがRPPGの準周期的パターンをしっかりと理解できるようにする。
大規模な実験により、RhythmMambaはパラメータの削減と計算複雑性の低減により最先端のパフォーマンスを達成することが示された。
提案したRhythmMambaは、性能劣化のない任意の長さのビデオセグメントに適用できる。
コードはhttps://github.com/zizheng-guo/RhythmMamba.comで公開されている。
関連論文リスト
- PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba [20.435381963248787]
従来のディープラーニングに基づくr測定は主にCNNとTransformerに基づいている。
本稿では,マンバをベースとしたフレームワークであるPhysMambaを提案する。
PhysMambaの優位性と効率性を示すために、3つのベンチマークデータセットで大規模な実験を行った。
論文 参考訳（メタデータ） (2024-09-18T14:48:50Z) - PPMamba: A Pyramid Pooling Local Auxiliary SSM-Based Model for Remote Sensing Image Semantic Segmentation [1.5136939451642137]
本稿では,CNN と Mamba を統合し,セマンティックセグメンテーションタスクを実現する新しいネットワークである Pyramid Pooling Mamba (PPMamba) を提案する。
PPMambaは最先端のモデルに比べて競争力がある。
論文 参考訳（メタデータ） (2024-09-10T08:08:50Z) - Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。
技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。
多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。
最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
論文 参考訳（メタデータ） (2024-07-20T09:14:05Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳（メタデータ） (2024-06-20T17:40:18Z) - SPMamba: State-space model is all you need in speech separation [20.168153319805665]
CNNベースの音声分離モデルは、局所的な受容的場制限に直面し、長期間の依存関係を効果的にキャプチャできない。
本稿では,SPMambaという音声分離手法を提案する。
このモデルは、TF-GridNetアーキテクチャに基づいており、従来のBLSTMモジュールを双方向のMambaモジュールに置き換えている。
論文 参考訳（メタデータ） (2024-04-02T16:04:31Z) - RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal
Periodic Transformer [17.751885452773983]
本稿では,r周期性の準周期特性を明示的に活用することにより,r信号の完全エンドツーエンド変換手法を提案する。
融合ステムはr特徴に対する自己注意を効果的に導くために提案され、既存の手法に容易に移行し、その性能を著しく向上させることができる。
論文 参考訳（メタデータ） (2024-02-20T07:56:02Z) - Vivim: a Video Vision Mamba for Medical Video Segmentation [52.11785024350253]
本稿では、医用ビデオセグメンテーションタスクのためのビデオビジョンマンバベースのフレームワークVivimを提案する。
我々のビビムは、長期表現を様々なスケールのシーケンスに効果的に圧縮することができる。
超音波検査では甲状腺分節,乳房病変分節,大腸内視鏡検査ではポリープ分節が有効で有効であった。
論文 参考訳（メタデータ） (2024-01-25T13:27:03Z) - No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention
and Zoom-in Boundary Detection [52.03562682785128]
時間的ビデオグラウンドティングは、未編集のビデオから言語クエリの時間間隔を取得することを目的としている。
テレビGにおける重要な課題は、低SNR(Semantic Noise Ratio)による低SNRの性能低下である。
本稿では,2つのコアモジュールからなる非フリーズTVGモデルを提案する。
論文 参考訳（メタデータ） (2023-07-20T04:12:10Z) - HyRSM++: Hybrid Relation Guided Temporal Set Matching for Few-shot
Action Recognition [51.2715005161475]
そこで本研究では,数発のアクション認識のための時間的マッチング手法として,ハイブリッドリレーションド・テンポラル・セット・マッチングを提案する。
HyRSM++の中核となる考え方は、すべてのビデオをタスクに統合して差別的な表現を学ぶことである。
提案手法は,様々な撮影条件下での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-01-09T13:32:50Z) - Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。
提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
論文 参考訳（メタデータ） (2020-11-08T10:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。