Fugu-MT 論文翻訳(概要): Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation

論文の概要: Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation

arxiv url: http://arxiv.org/abs/2404.09378v3
Date: Wed, 1 May 2024 05:18:22 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 17:45:32.791168
Title: Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation
Title（参考訳）: カメラを用いた顔写真撮影のための方位条件付き顔テクスチャマッピング
Authors: Sam Cantrill, David Ahmedt-Aristizabal, Lars Petersson, Hanna Suominen, Mohammad Ali Armin,
Abstract要約: 我々は3次元顔表面を利用して、新しい配向条件付き映像表現を構築する。提案手法は,MMPD上でのクロスデータセットテストにおいて,18.2%の性能向上を実現する。テストされたすべてのシナリオにおいて、29.6%の大幅なパフォーマンス向上が示されている。
参考スコア（独自算出の注目度）: 23.199005573530194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Camera-based remote photoplethysmography (rPPG) enables contactless measurement of important physiological signals such as pulse rate (PR). However, dynamic and unconstrained subject motion introduces significant variability into the facial appearance in video, confounding the ability of video-based methods to accurately extract the rPPG signal. In this study, we leverage the 3D facial surface to construct a novel orientation-conditioned facial texture video representation which improves the motion robustness of existing video-based facial rPPG estimation methods. Our proposed method achieves a significant 18.2% performance improvement in cross-dataset testing on MMPD over our baseline using the PhysNet model trained on PURE, highlighting the efficacy and generalization benefits of our designed video representation. We demonstrate significant performance improvements of up to 29.6% in all tested motion scenarios in cross-dataset testing on MMPD, even in the presence of dynamic and unconstrained subject motion, emphasizing the benefits of disentangling motion through modeling the 3D facial surface for motion robust facial rPPG estimation. We validate the efficacy of our design decisions and the impact of different video processing steps through an ablation study. Our findings illustrate the potential strengths of exploiting the 3D facial surface as a general strategy for addressing dynamic and unconstrained subject motion in videos. The code is available at https://samcantrill.github.io/orientation-uv-rppg/.
Abstract（参考訳）: カメラベースのリモート光胸腺撮影(rPPG)は、パルスレート(PR)などの重要な生理的信号の接触のない計測を可能にする。しかし、動的・非拘束な被写体運動は、映像における顔の外観に有意な変動をもたらし、rPPG信号を正確に抽出するビデオベース手法の能力に反する。本研究では,3次元顔表面を利用して,既存の映像ベース顔rPPG推定手法の動作堅牢性を向上させる,配向条件付き顔テクスチャ映像表現を新たに構築する。提案手法は、PUREでトレーニングしたPhysNetモデルを用いて、MMPD上でのクロスデータセットテストにおいて、18.2%の性能向上を実現し、設計したビデオ表現の有効性と一般化の利点を強調した。 MMPDを用いたクロスデータセットテストでは,動的,非拘束的動作においても最大29.6%の性能向上がみられ,3次元顔表面をモデルとした3次元顔面rPPG推定によるアンタングル運動の利点が強調された。アブレーション研究により, 設計決定の有効性と, 異なる映像処理工程の影響を検証した。本研究は3次元顔表面を動的・非拘束な被写体運動に対処するための一般的な戦略として活用する可能性を示した。コードはhttps://samcantrill.github.io/orientation-uv-rppg/で公開されている。

関連論文リスト

Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文参考訳（メタデータ） (2023-09-28T17:59:51Z)
Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文参考訳（メタデータ） (2023-07-11T03:40:10Z)
Mask Attack Detection Using Vascular-weighted Motion-robust rPPG Signals [21.884783786547782]
R-based face anti-spoofing method は、しばしばビデオシーケンスの不安定な顔アライメントによる性能劣化に悩まされる。 SIFTキーポイントと顔ランドマークの両方を用いて, 顔の鮮明かつ正確に画素レベルで整列するランドマークアンコール顔縫合法を提案する。 Gated Recurrent Unit (GRU) を備えた軽量なEfficientNetは、分類のための空間的特徴と時間的特徴の両方を抽出するように設計されている。
論文参考訳（メタデータ） (2023-05-25T11:22:17Z)
Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement [25.27559386977351]
身体の動きは、ビデオから微妙な心臓の脈を回復しようとするとき、最も重要なノイズ源の1つである。我々は,遠隔光合成のタスクのために,ニューラルビデオ合成アプローチをビデオの拡張に適用する。各種の最先端手法を用いて,既存のデータセット間結果よりも47%向上したことを示す。
論文参考訳（メタデータ） (2023-03-21T17:51:23Z)
Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文参考訳（メタデータ） (2023-02-24T09:36:31Z)
Video-driven Neural Physically-based Facial Asset for Production [33.24654834163312]
高品質な物理的資産を持つ動的顔のジオメトリを生成するための,学習に基づく新しいビデオ駆動型アプローチを提案する。本手法は,従来の映像駆動型顔再構成法やアニメーション法よりも精度が高く,視覚的忠実度が高い。
論文参考訳（メタデータ） (2022-02-11T13:22:48Z)
Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文参考訳（メタデータ） (2021-05-31T02:30:11Z)
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。登録された画像に対して,60fpsで3次元フローマップを生成する。
論文参考訳（メタデータ） (2020-05-14T23:56:48Z)
Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
論文参考訳（メタデータ） (2020-05-12T01:32:55Z)
It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
顔の全体像のみを入力とする外観に基づく手法を提案する。本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
論文参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。