論文の概要: Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding

• arxiv url: http://arxiv.org/abs/2512.04313v1
• Date: Wed, 03 Dec 2025 23:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.918029
• Title: Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding
• Title（参考訳）: Mind-to-Face:脳波デコーディングによるニューラル駆動型光リアリスティックアバター合成
• Authors: Haolin Xiong, Tianwen Fu, Pratusha Bhuvana Prasad, Yunxuan Cai, Haiwei Chen, Wenbin Teng, Hanyuan Xiao, Yajie Zhao,
• Abstract要約: 非侵襲脳波(EEG)信号を高忠実度表情に直接デコードする最初のフレームワークであるMind-to-Faceを提案する。 脳波だけでは、微妙な感情反応を含む動的、主観的な表情を確実に予測できることが示される。 Mind-to-Faceは、ニューラル駆動アバターの新しいパラダイムを確立し、没入型環境におけるパーソナライズされた感情認識のテレプレゼンスと認知的相互作用を可能にする。
• 参考スコア（独自算出の注目度）: 11.030344145348097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current expressive avatar systems rely heavily on visual cues, failing when faces are occluded or when emotions remain internal. We present Mind-to-Face, the first framework that decodes non-invasive electroencephalogram (EEG) signals directly into high-fidelity facial expressions. We build a dual-modality recording setup to obtain synchronized EEG and multi-view facial video during emotion-eliciting stimuli, enabling precise supervision for neural-to-visual learning. Our model uses a CNN-Transformer encoder to map EEG signals into dense 3D position maps, capable of sampling over 65k vertices, capturing fine-scale geometry and subtle emotional dynamics, and renders them through a modified 3D Gaussian Splatting pipeline for photorealistic, view-consistent results. Through extensive evaluation, we show that EEG alone can reliably predict dynamic, subject-specific facial expressions, including subtle emotional responses, demonstrating that neural signals contain far richer affective and geometric information than previously assumed. Mind-to-Face establishes a new paradigm for neural-driven avatars, enabling personalized, emotion-aware telepresence and cognitive interaction in immersive environments.
• Abstract（参考訳）: 現在の表現力のあるアバターシステムは視覚的な手がかりに大きく依存しており、顔が隠されている場合や、感情が内部に留まっている場合に失敗する。 非侵襲脳波(EEG)信号を高忠実度表情に直接デコードする最初のフレームワークであるMind-to-Faceを提案する。 両モード記録装置を構築し,感情刺激中の脳波と多視点顔映像を同期させ,ニューラル・ツー・ビジュアル・ラーニングの正確な監視を可能にする。 我々のモデルはCNN-Transformerエンコーダを用いて、脳波信号を高密度3次元位置マップにマッピングし、65kの頂点をサンプリングし、微細な幾何学と微妙な感情力学を捉え、フォトリアリスティックでビュー一貫性のある結果を得るために修正された3Dガウススティングパイプラインを通してそれらをレンダリングする。 脳波だけでは、微妙な感情反応を含む動的、主観的な表情を確実に予測できることを示し、神経信号が以前考えられていたよりもはるかに豊かな感情的・幾何学的情報を含んでいることを示した。 Mind-to-Faceは、ニューラル駆動アバターの新しいパラダイムを確立し、没入型環境におけるパーソナライズされた感情認識のテレプレゼンスと認知的相互作用を可能にする。

関連論文リスト

• A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition [0.41998444721319217]
  本稿では,潜時空間における脳の皮質間神経力学をモデル化するTransformerベースのニューラルネットワークアーキテクチャであるRBTransformerを提案する。 本研究は,SEED,DEAP,DREAMERデータセットを用いて,特に主観的設定下で広範囲にわたる実験を行った。 その結果,提案したRBTransformerは,従来の最先端手法を3つのデータセットすべてで上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-11-17T22:27:12Z)
• VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis [70.76837748695841]
  視覚音声認識によって教師される写真リアルな微分可能レンダリングを用いてギャップを埋める新しい手法であるVisualSpeakerを提案する。 我々の貢献は、訓練中に訓練済みの視覚自動音声認識モデルを通して3Dガウス・スプティング・アバターレンダリングを通過させることによって得られる、知覚的な唇読影損失である。 MEADデータセットの評価は、VisualSpeakerが標準のLip Vertex Errorメトリックを56.1%改善し、生成されたアニメーションの知覚的品質を向上し、メッシュ駆動アニメーションの制御性を維持していることを示している。
  論文  参考訳（メタデータ） (2025-07-08T15:04:17Z)
• Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
  脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:52:17Z)
• EmoTalk3D: High-Fidelity Free-View Synthesis of Emotional 3D Talking Head [30.138347111341748]
  本稿では,3次元音声頭部を制御可能な感情で合成する新しい手法を提案する。 本モデルでは,生成した音声の感情を制御可能とし,広視野で表現することができる。 実験により,高忠実度・感情制御可能な3次元音声頭部の創出におけるアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-08-01T05:46:57Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。