論文の概要: Facial Spatiotemporal Graphs: Leveraging the 3D Facial Surface for Remote Physiological Measurement

• arxiv url: http://arxiv.org/abs/2601.13724v1
• Date: Tue, 20 Jan 2026 08:29:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.228141
• Title: Facial Spatiotemporal Graphs: Leveraging the 3D Facial Surface for Remote Physiological Measurement
• Title（参考訳）: 顔面時空間グラフ:3次元顔表面を利用した遠隔生理計測
• Authors: Sam Cantrill, David Ahmedt-Aristizabal, Lars Petersson, Hanna Suominen, Mohammad Ali Armin,
• Abstract要約: 顔表面の微妙な色変化を時間とともにモデル化することで生理的信号を推定する。 既存の方法は、R信号の空間的支持である3次元顔表面と、その受容野を明示的に整合させることができない。 顔色を符号化し、3Dメッシュシーケンスを使用する表情表現である顔時間グラフ(STGraph)を提案する。 本稿では,STGraph上で信号推定を行うクリティカルグラフ畳み込みネットワークであるMeshPhysを紹介する。
• 参考スコア（独自算出の注目度）: 20.67961570985004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial remote photoplethysmography (rPPG) methods estimate physiological signals by modeling subtle color changes on the 3D facial surface over time. However, existing methods fail to explicitly align their receptive fields with the 3D facial surface-the spatial support of the rPPG signal. To address this, we propose the Facial Spatiotemporal Graph (STGraph), a novel representation that encodes facial color and structure using 3D facial mesh sequences-enabling surface-aligned spatiotemporal processing. We introduce MeshPhys, a lightweight spatiotemporal graph convolutional network that operates on the STGraph to estimate physiological signals. Across four benchmark datasets, MeshPhys achieves state-of-the-art or competitive performance in both intra- and cross-dataset settings. Ablation studies show that constraining the model's receptive field to the facial surface acts as a strong structural prior, and that surface-aligned, 3D-aware node features are critical for robustly encoding facial surface color. Together, the STGraph and MeshPhys constitute a novel, principled modeling paradigm for facial rPPG, enabling robust, interpretable, and generalizable estimation. Code is available at https://samcantrill.github.io/facial-stgraph-rppg/ .
• Abstract（参考訳）: 顔表面の微妙な色変化を時間とともにモデル化し, 生理的信号を推定するrPPG法について検討した。 しかし、既存の手法では、RPPG信号の空間的支持である3次元顔表面と受容野を明示的に整合させることができない。 そこで本稿では,顔色と構造を3次元顔メッシュシーケンスで符号化し,表面配向時空間処理を行う新しい表現である顔面時空間グラフ(STGraph)を提案する。 本稿では,STGraph上で動作し,生理的信号を推定する軽量な時空間グラフ畳み込みネットワークであるMeshPhysを紹介する。 4つのベンチマークデータセットで、MeshPhysは、イントラデータセットとクロスデータセット設定の両方で、最先端または競合的なパフォーマンスを達成する。 アブレーション研究では、モデルの受容野を顔表面に拘束することは、強い構造的先行として機能し、顔表面の色を強固に符号化するために、表面配向の3D認識ノードの特徴が重要であることが示されている。 STGraphとMeshPhysは、顔 rPPG のための新しい、原則化されたモデリングパラダイムを構成し、堅牢で、解釈可能で、一般化可能な推定を可能にする。 コードはhttps://samcantrill.github.io/ Interface-stgraph-rppg/で公開されている。

関連論文リスト

• Thin-Shell-SfT: Fine-Grained Monocular Non-rigid 3D Surface Tracking with Neural Deformation Fields [66.1612475655465]
  RGBビデオから変形可能な表面を3Dで再現することは難しい問題だ。 既存の方法は、統計的、神経的、物理的に先行する変形モデルを使用する。 我々は,非剛性3次元トラッキングメッシュの新しい手法であるThinShell-SfTを提案する。
  論文  参考訳（メタデータ） (2025-03-25T18:00:46Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• Self-supervised Pre-training with Masked Shape Prediction for 3D Scene Understanding [106.0876425365599]
  Masked Shape Prediction (MSP)は、3Dシーンでマスクされた信号モデリングを行うための新しいフレームワークである。 MSPは3Dセマンティックキュー、すなわち幾何学的形状をマスクされた点の予測ターゲットとして使用する。
  論文  参考訳（メタデータ） (2023-05-08T20:09:19Z)
• Learning Neural Implicit Representations with Surface Signal Parameterizations [14.835882967340968]
  本稿では,外見データに適した表面パラメータ化を暗黙的に符号化するニューラルネットワークアーキテクチャを提案する。 私たちのモデルは、既存のメッシュベースのデジタルコンテンツと外見データとの互換性が保たれています。
  論文  参考訳（メタデータ） (2022-11-01T15:10:58Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)
• Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition [21.116748155592752]
  顔のキーポイントに基づく動的3次元顔認識のための新しいフレームワークを提案する。 表情の動的列は時間グラフとして表現され、3次元の顔のランドマークを用いて構築される。 我々は,動的3次元表情データセットに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-04-19T09:05:39Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。