論文の概要: emg2face: Expressive Facial Animation with High-Density Surface EMG

• arxiv url: http://arxiv.org/abs/2610.09304v1
• Date: Wed, 07 Oct 2026 02:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.677524
• Title: emg2face: Expressive Facial Animation with High-Density Surface EMG
• Title（参考訳）: emg2face:高密度表面EMGによる表情的顔アニメーション
• Abstract要約: 頭部装着装置(HMD)によって顔が隠蔽されている場合、顔キャプチャーの光学的手法は難しいか、あるいは使用できない 我々は,高密度表面筋電図 (HD-sEMG) が,これらの課題に対処する有効な非光学的代替手段であることを示す。
• 参考スコア（独自算出の注目度）: 3.7290138413705383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial movements convey subtle and important information that is critical for human social communication. Optical methods for face capture are difficult or impossible to use when the face is occluded by head-mounted devices (HMDs), such as VR headsets. Even with a clear line of sight, such methods raise privacy concerns and require head-mounted capture rigs that offset cameras and lighting from the face. We show that high-density surface electromyography (HD-sEMG) provides a viable non-optical alternative that addresses these challenges. We measured 64 EMG channels, using two textile EMG grids, with 32 from the forehead (typically occluded by an HMD) and 32 from the side of the face. EMG data were digitized at 2048 Hz and filtered. Facial movements were simultaneously recorded and used to estimate 478 3D facial landmarks using MediaPipe's Face Landmarker. A major challenge in such multimodal recordings is synchronizing EMG and video data, which have different sampling frequencies and independent clocks. We developed a novel synchronization method using analog audio bursts that is capable of sub-millisecond synchronization. We also developed a staged fitting method that fits a recent high-resolution parametric head model (GNM), with 253 identity blendshapes and 383 expression blendshapes, to the MediaPipe landmarks as participants performed different facial expressions. We trained a deep neural network comprising per-grid spatial encoders followed by a dilated temporal convolutional network (TCN) to predict blendshape parameters from HD-sEMG signals at 100 Hz. Once trained, the network can predict expression blendshapes solely from HD-sEMG recordings. The output can be rendered using standard real-time blendshape animation methods. We demonstrate the methods using recordings from 25 participants, and direct expression transfer to a variety of human faces and non-human characters.
• Abstract（参考訳）: 顔の動きは、人間の社会的コミュニケーションにとって重要な微妙で重要な情報を伝える。 VRヘッドセットのようなヘッドマウントデバイス(HMD)によって顔が隠されている場合、顔キャプチャの光学的手法は難しいか、あるいは使用できない。 明快な視線であっても、こうした方法はプライバシーの懸念を高め、カメラや照明をオフセットするヘッドマウント式キャプチャ・リグを必要とする。 我々は,高密度表面筋電図 (HD-sEMG) が,これらの課題に対処する有効な非光学的代替手段であることを示す。 前頭部(典型的にはHMDを介在する)から32、顔面側面から32の繊維製EMGグリッドを用いて64のEMGチャネルを測定した。 EMGデータは2048Hzでデジタル化され、フィルタリングされた。 顔の動きを同時に記録し,MediaPipeのFace Landmarkerを用いて478個の顔ランドマークを推定した。 このようなマルチモーダル録音における大きな課題は、サンプリング周波数と独立クロックが異なるEMGとビデオデータの同期である。 サブミリ秒同期が可能なアナログ音声バーストを用いた新しい同期手法を開発した。 また,近年の高分解能パラメトリックヘッドモデル (GNM) に253の同一性ブレンドと383の表現ブレンドを持つステージドフィッティング法を開発した。 我々は、100HzのHD-sEMG信号からブレンドシェープパラメータを予測するために、グリッドごとの空間エンコーダと拡張時間畳み込みネットワーク(TCN)を組み合わせたディープニューラルネットワークを訓練した。 トレーニングが完了すると、HD-sEMG記録のみから、表現の混在を予測できる。 出力は標準的なリアルタイムブレンドシェープアニメーション方式でレンダリングできる。 実験では,25人の参加者の録音を用いて,様々な顔や非人間的人物への直接的表現の伝達を実証した。

関連論文リスト

• MMTalker: Multiresolution 3D Talking Head Synthesis with Multimodal Feature Fusion [8.099054631267515]
  音声駆動型3Dアニメーション合成は、1次元(1次元)音声信号から時間変化した3次元顔信号へのマッピングを構築することを目的としている。 現在の方法は、リップシンクの精度を維持し、現実的な表情を作り出すことの課題に直面している。 マルチレゾリューション表現とマルチモーダル特徴融合による3次元音声駆動顔画像合成法を提案する。
  論文  参考訳（メタデータ） (2026-04-03T10:17:39Z)
• OT-Talk: Animating 3D Talking Head with Optimal Transportation [20.023346831300373]
  OT-Talkは、音声ヘッドアニメーションの学習モデルを最適化するために最適なトランスポートを利用する最初のアプローチである。 既存の学習フレームワークに基づいて,事前学習したHubertモデルを用いて音声特徴を抽出し,変換器モデルを用いて時間的シーケンスを処理する。 2つの公開オーディオ・メシュ・データセットに対する実験により,本手法が最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-03T21:49:23Z)
• Media2Face: Co-speech Facial Animation Generation With Multi-Modality Guidance [41.692420421029695]
  本稿では,顔の形状と画像を高一般化された表現潜在空間にマッピングする,効率的な変分自動エンコーダを提案する。 次に、GNPFAを用いて、多数のビデオから高品質な表現と正確な頭部ポーズを抽出する。 GNPFAラテント空間における拡散モデルMedia2Faceを提案する。
  論文  参考訳（メタデータ） (2024-01-28T16:17:59Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation [71.73912454164834]
  音声-リップ同期の汎用化, 画質の向上, システム効率の向上が期待できる。 NeRFは、数分間のトレーニングビデオで高忠実で3D一貫性のある会話顔生成を実現することができるため、この分野で一般的な技術となっている。 そこで我々は,これらの課題に対処するためにGeneFace++を提案し,ピッチの輪郭を補助的特徴として利用し,顔の動き予測プロセスに時間的損失を導入する。
  論文  参考訳（メタデータ） (2023-05-01T12:24:09Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。