論文の概要: VidFormer: A novel end-to-end framework fused by 3DCNN and Transformer for Video-based Remote Physiological Measurement

• arxiv url: http://arxiv.org/abs/2501.01691v2
• Date: Tue, 07 Jan 2025 02:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 12:28:58.390393
• Title: VidFormer: A novel end-to-end framework fused by 3DCNN and Transformer for Video-based Remote Physiological Measurement
• Title（参考訳）: VidFormer:ビデオベースの遠隔生理計測のための3DCNNとTransformerで融合した新しいエンドツーエンドフレームワーク
• Authors: Jiachen Li, Shisheng Guo, Longzhen Tang, Cuolong Cui, Lingjiang Kong, Xiaobo Yang,
• Abstract要約: 本稿では、畳み込みネットワーク(CNN)とrタスクのモデルを統合する新しいフレームワークであるVidFormerを紹介する。 5つの公開データセットに対する評価は、VidFormerが現在のSOTA(State-of-the-art)メソッドより優れていることを示している。
• 参考スコア（独自算出の注目度）: 9.605944796068046
• License:
• Abstract: Remote physiological signal measurement based on facial videos, also known as remote photoplethysmography (rPPG), involves predicting changes in facial vascular blood flow from facial videos. While most deep learning-based methods have achieved good results, they often struggle to balance performance across small and large-scale datasets due to the inherent limitations of convolutional neural networks (CNNs) and Transformer. In this paper, we introduce VidFormer, a novel end-to-end framework that integrates 3-Dimension Convolutional Neural Network (3DCNN) and Transformer models for rPPG tasks. Initially, we conduct an analysis of the traditional skin reflection model and subsequently introduce an enhanced model for the reconstruction of rPPG signals. Based on this improved model, VidFormer utilizes 3DCNN and Transformer to extract local and global features from input data, respectively. To enhance the spatiotemporal feature extraction capabilities of VidFormer, we incorporate temporal-spatial attention mechanisms tailored for both 3DCNN and Transformer. Additionally, we design a module to facilitate information exchange and fusion between the 3DCNN and Transformer. Our evaluation on five publicly available datasets demonstrates that VidFormer outperforms current state-of-the-art (SOTA) methods. Finally, we discuss the essential roles of each VidFormer module and examine the effects of ethnicity, makeup, and exercise on its performance.
• Abstract（参考訳）: 顔ビデオに基づく遠隔生理学的信号測定(remote physiological signal Measurement)、またはremote photoplethysmography(rPPG)は、顔ビデオからの顔面血管血流の変化を予測する。 ほとんどのディープラーニングベースの手法は良い結果を得たが、畳み込みニューラルネットワーク(CNN)とTransformer固有の制限のため、小規模および大規模データセット間でのパフォーマンスのバランスをとるのに苦労することが多い。 本稿では,3次元畳み込みニューラルネットワーク(3DCNN)とRPPGタスク用トランスフォーマーモデルを統合した,新しいエンドツーエンドフレームワークであるVidFormerを紹介する。 当初,従来の皮膚反射モデルの解析を行い,その後にrPPG信号の再構成のための拡張モデルを導入する。 この改良モデルに基づいて、VidFormerは3DCNNとTransformerを使用して、それぞれ入力データからローカル特徴とグローバル特徴を抽出する。 VidFormerの時空間特徴抽出能力を高めるために,3DCNNとTransformerの両方に適した時間空間アテンション機構を組み込んだ。 さらに,3DCNNとTransformer間の情報交換と融合を容易にするモジュールを設計する。 5つの公開データセットに対する評価は、VidFormerが現在のSOTA(State-of-the-art)メソッドより優れていることを示している。 最後に,各 VidFormer モジュールの本質的役割について考察し,その性能に及ぼす民族性,メイク,エクササイズの影響について考察する。

関連論文リスト

• DuoFormer: Leveraging Hierarchical Visual Representations by Local and Global Attention [1.5624421399300303]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化を通じてトランスフォーマー入力に適合する。
  論文  参考訳（メタデータ） (2024-07-18T22:15:35Z)
• SalFoM: Dynamic Saliency Prediction with Video Foundation Models [37.25208752620703]
  ビデオサリエンシ予測(VSP)は人間の視覚システムと比較して有望な性能を示した。 本稿では,新しいエンコーダデコーダビデオトランスアーキテクチャであるSalFoMを紹介する。 本モデルはUnMasked Teacher(UMT)抽出器を使用し,異種デコーダを意識した時間変換器を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:38:54Z)
• Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling [125.95527079960725]
  トランスフォーマーベースのモデルは、主要なビデオ認識ベンチマークで最高のパフォーマンスを達成した。 Video Mobile-Formerはトランスフォーマーベースの最初のビデオモデルであり、1G FLOP内で計算予算を制限している。
  論文  参考訳（メタデータ） (2022-08-25T17:59:00Z)
• TransDeepLab: Convolution-Free Transformer-based DeepLab v3+ for Medical Image Segmentation [11.190117191084175]
  本稿では,DeepLabライクな医用画像セグメンテーション用トランスフォーマであるTransDeepLabを提案する。 我々は、DeepLabv3を拡張し、ASPPモジュールをモデル化するために、シフトウィンドウを持つ階層型Swin-Transformerを利用する。 提案手法は,視覚変換器とCNNに基づく手法のアマルガメーションにおいて,現代のほとんどの作品に匹敵する,あるいは同等に動作する。
  論文  参考訳（メタデータ） (2022-08-01T09:53:53Z)
• UNetFormer: A Unified Vision Transformer Model and Pre-Training Framework for 3D Medical Image Segmentation [14.873473285148853]
  UNetFormerと呼ばれる2つのアーキテクチャで構成され,3D Swin TransformerベースのエンコーダとConal Neural Network(CNN)とTransformerベースのデコーダを備えている。 提案モデルでは, 5つの異なる解像度でのスキップ接続により, エンコーダをデコーダにリンクする。 本稿では,ランダムにマスクされたトークンを予測する学習を通じて,エンコーダバックボーンの自己教師付き事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:38:39Z)
• Hierarchical Multimodal Transformer to Summarize Videos [103.47766795086206]
  変換器の大成功とビデオの自然な構造(フレームショットビデオ)に触発された階層変換器は,映像要約のために開発された。 2種類の情報を統合するために、2ストリーム方式で符号化し、階層変換器に基づいて多モード融合機構を開発する。 実際、広範な実験により、HMTは従来のRNNベースおよび注意に基づくビデオ要約手法のほとんどを超越していることが示された。
  論文  参考訳（メタデータ） (2021-09-22T07:38:59Z)
• Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks [11.44782606621054]
  畳み込みニューラルネットワーク(CNN)は、インテリジェントな視覚オブジェクト認識を行うために広く利用されている。 CNNはいまだに深刻な精度低下、特に照明変動データセットに悩まされている。 視覚オブジェクト認識のための方向融合に基づく新しいCNN手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T07:15:15Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
  我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。 我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-26T07:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。