論文の概要: Brain2Face: A Study on the Relation of EEG Signals and Spatio-temporal Head Avatars

• arxiv url: http://arxiv.org/abs/2610.17356v1
• Date: Mon, 12 Oct 2026 20:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:16:18.789348
• Title: Brain2Face: A Study on the Relation of EEG Signals and Spatio-temporal Head Avatars
• Title（参考訳）: Brain2Face:脳波信号と時空間頭部アバターの関係に関する研究
• Abstract要約: ヘッドアバターは、手作りのアーティストデザインや、イメージベースの顔のパフォーマンスキャプチャによって作成される。 本研究は,脳信号のみから人間の頭部形状と外観を追跡できるかどうかを問うものである。 本稿では,脳波信号の時間的シーケンスを入力とし,3次元ガウス頭部アバターの潜伏表現パラメータを回帰する専用の脳波対表現モデルを提案する。
• 参考スコア（独自算出の注目度）: 55.3590800242462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Driving digital head avatars is classically done by hand-crafted artist design or by image-based facial performance capture. In this work, we ask whether spatio-temporal tracking of the humans's head geometry and appearance can be performed solely from brain signals, i.e., Electroencephalography (EEG). Since prior work mostly focused on activity and emotion recognition, this task is relatively unexplored without even having publicly available high-quality datasets and benchmarks. Thus, we contribute a dataset featuring paired EEG and human head geometry as well as appearance annotations. We synchronize 64-channel EEG with per-frame expression latent codes of a personalized Gaussian head avatar. Second, we introduce a baseline to the task of expression recovery of a head avatar from EEG signals. To this end, we propose a dedicated EEG-to-expression model that takes a temporal sequence of EEG signals as input and regresses the latent expression parameters of the 3D Gaussian head avatar. Lastly, we validate our capture and algorithmic design choices through a benchmark protocol that we introduce to this task. We believe this work paves the way towards better understanding of the relation between EEG signals and facial surface as well as appearance changes.
• Abstract（参考訳）: デジタルヘッドアバターの駆動は、手作りのアーティストデザインや、イメージベースの顔のパフォーマンスキャプチャによって古典的に行われる。 本研究は,脳波,すなわち脳波からのみ人間の頭部形状と外観の時空間的追跡を行うことができるかどうかを問うものである。 これまでの作業は主にアクティビティと感情認識に重点を置いていたため、このタスクは、公開されている高品質のデータセットやベンチマークを持っていなくても、比較的探索されていない。 そこで我々は,脳波と人間の頭部形状と外観アノテーションを組み合わせたデータセットをコントリビュートした。 我々は64チャンネルの脳波と,個人化されたガウスヘッドアバターのフレーム単位の潜在コードとを同期させる。 第2に,脳波信号から頭部アバターを再生する作業のベースラインを導入する。 そこで本研究では,脳波信号の時間的シーケンスを入力とし,3次元ガウス頭部アバターの潜伏表現パラメータを回帰する専用の脳波対表現モデルを提案する。 最後に、このタスクに導入したベンチマークプロトコルを用いて、キャプチャとアルゴリズムによる設計選択を検証する。 この研究は、脳波信号と顔表面の関係と外観の変化をよりよく理解するための道を開いたと信じている。

関連論文リスト

• Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding [11.030344145348097]
  非侵襲脳波(EEG)信号を高忠実度表情に直接デコードする最初のフレームワークであるMind-to-Faceを提案する。 脳波だけでは、微妙な感情反応を含む動的、主観的な表情を確実に予測できることが示される。 Mind-to-Faceは、ニューラル駆動アバターの新しいパラダイムを確立し、没入型環境におけるパーソナライズされた感情認識のテレプレゼンスと認知的相互作用を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T23:02:27Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
  本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。 我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。 本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T16:42:23Z)
• DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars [48.50728107738148]
  DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。 表現と頭部ポーズの粗い誘導のために、ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。 我々は,NPHMから得られた表現コードに直接DiffusionAvatarsを挿入する。
  論文  参考訳（メタデータ） (2023-11-30T15:43:13Z)
• Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
  本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。 我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。 これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
  論文  参考訳（メタデータ） (2023-08-25T08:05:37Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
  本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。 In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
  論文  参考訳（メタデータ） (2022-04-24T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。