論文の概要: Electromyography-Informed Facial Expression Reconstruction for Physiological-Based Synthesis and Analysis

• arxiv url: http://arxiv.org/abs/2503.09556v1
• Date: Wed, 12 Mar 2025 17:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:56.230425
• Title: Electromyography-Informed Facial Expression Reconstruction for Physiological-Based Synthesis and Analysis
• Title（参考訳）: 筋電図による顔面表情再構成による生理的合成と解析
• Authors: Tim Büchner, Christoph Anders, Orlando Guntinas-Lichius, Joachim Denzler,
• Abstract要約: 筋活動と表情の関係は、心理学、医学、エンターテイメントなど様々な分野において重要である。 既存の顔分析法では、電極閉塞を処理できないため、効果がない。 本手法は,SEMG 閉塞下での顔の復元を敵対的に忠実に行う新しい手法である。 本手法の有効性を,同期SEMG記録と顔模倣のデータセットを用いた実験により検証した。
• 参考スコア（独自算出の注目度）: 6.129164512102711
• License:
• Abstract: The relationship between muscle activity and resulting facial expressions is crucial for various fields, including psychology, medicine, and entertainment. The synchronous recording of facial mimicry and muscular activity via surface electromyography (sEMG) provides a unique window into these complex dynamics. Unfortunately, existing methods for facial analysis cannot handle electrode occlusion, rendering them ineffective. Even with occlusion-free reference images of the same person, variations in expression intensity and execution are unmatchable. Our electromyography-informed facial expression reconstruction (EIFER) approach is a novel method to restore faces under sEMG occlusion faithfully in an adversarial manner. We decouple facial geometry and visual appearance (e.g., skin texture, lighting, electrodes) by combining a 3D Morphable Model (3DMM) with neural unpaired image-to-image translation via reference recordings. Then, EIFER learns a bidirectional mapping between 3DMM expression parameters and muscle activity, establishing correspondence between the two domains. We validate the effectiveness of our approach through experiments on a dataset of synchronized sEMG recordings and facial mimicry, demonstrating faithful geometry and appearance reconstruction. Further, we synthesize expressions based on muscle activity and how observed expressions can predict dynamic muscle activity. Consequently, EIFER introduces a new paradigm for facial electromyography, which could be extended to other forms of multi-modal face recordings.
• Abstract（参考訳）: 筋活動と表情の関係は、心理学、医学、エンターテイメントなど様々な分野において重要である。 表面筋電図(sEMG)による顔の模倣と筋活動の同期記録は、これらの複雑なダイナミクスにユニークな窓を提供する。 残念ながら、既存の顔分析法では電極閉塞を処理できず、効果がない。 同一人物のオクルージョンフリー参照画像であっても、表現強度と実行のばらつきはキャッチできない。 EIFER (Electromyography-informed facial Expression Restruction) は, sEMG 閉塞下での顔の復元法である。 顔の形状と外観(例えば肌のテクスチャ、照明、電極)を3Dモーフブルモデル(3DMM)と参照記録によるニューラル・アンペア画像・画像変換を組み合わせることで分離する。 そして、EIFERは3DMM表現パラメータと筋活動の双方向マッピングを学習し、2つのドメイン間の対応を確立する。 我々は,SEMG記録と顔の模倣を同期したデータセットを用いて実験を行い,忠実な形状と外観復元を実証し,本手法の有効性を検証した。 さらに, 筋活動に基づいて表情を合成し, 観察された表情が動的筋活動を予測する方法について検討した。 その結果、EIFERは顔筋電図の新たなパラダイムを導入し、他の形態のマルチモーダル顔記録に拡張することができる。

関連論文リスト

• Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
  視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。 具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-08T04:53:55Z)
• BioFace3D: A fully automatic pipeline for facial biomarkers extraction of 3D face reconstructions segmented from MRI [33.7054351451505]
  磁気共鳴画像から再構成した顔モデルを用いた顔バイオマーカーの完全自動計算ツールとしてBioFace3Dを提案する。 このツールは、磁気共鳴画像からの3次元顔モデル抽出、解剖学的3次元ランドマークの登録、幾何学的形態計測技術を用いたランドマーク座標からの顔バイオマーカーの計算の3つの自動モジュールに分けられる。
  論文  参考訳（メタデータ） (2024-10-01T14:02:58Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos [0.0]
  本稿では, 顔の筋活動の定量化のために, 微分幾何学, 核の平滑化, スペクトル分析を組み合わせた新しい手法を提案する。 国家の安全とプラスティック手術の応用には大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-01-11T02:32:17Z)
• From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
  野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。 抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
  論文  参考訳（メタデータ） (2023-12-09T03:16:09Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
  本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。 In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
  論文  参考訳（メタデータ） (2022-04-24T15:58:35Z)
• Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos [13.408753449508326]
  人から3D顔モデルへの表情の転送は、古典的なコンピュータグラフィックスの問題である。 バイオメカニカルモデルに表情を移す新しい学習的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-12T01:13:07Z)
• Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity [6.974241731162878]
  本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。 顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。 提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
  論文  参考訳（メタデータ） (2020-05-12T01:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。