論文の概要: fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction

• arxiv url: http://arxiv.org/abs/2607.22302v1
• Date: Fri, 24 Jul 2026 13:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.137584
• Title: fMRI2Face: A Full-HD fMRI-Video Dataset and Geometry-Guided Neural Decoding Framework for Dynamic Human Face Reconstruction
• Title（参考訳）: fMRI2Face: 動的顔再構成のためのフルHD fMRI-Videoデータセットと幾何学誘導型ニューラルネットワークデコーディングフレームワーク
• Abstract要約: 制御可能なフルHDデジタル人間の顔ビデオと組み合わせた最初のfMRIデータセットであるfMRI-Faceを提示する。 我々は、fMRI信号から顔映像を再構成するための幾何学誘導型ニューラルビデオデコーディングフレームワークfMRI2Faceを提案する。
• 参考スコア（独自算出の注目度）: 40.661391742125154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing dynamic human faces from brain activity provides a powerful way to study how the mind perceives identity, expression, and facial motion. However, progress in fMRI-based face decoding has been limited by scarce controlled, high-resolution neural datasets and by methods that struggle to recover both identity-specific appearance and time-varying facial dynamics. We present fMRI-Face, the first fMRI dataset paired with controllable full-HD digital human facial videos rendered at 1920$\times$1080 resolution. During scanning, participants watched photorealistic, background-free facial videos with controlled identity, expression, and head pose, while fMRI activity was recorded. The resulting dataset contains 62,856 paired fMRI-video samples, providing a structured resource for studying dynamic face perception and reconstruction. Building on this dataset, we propose fMRI2Face, a geometry-guided neural video decoding framework for reconstructing facial videos from fMRI signals. fMRI2Face derives two complementary neural controls from brain activity: Brain-derived Appearance Context, which captures global identity-related visual attributes, and Morphable 3D Facial Control, which provides explicit geometry-aware guidance for pose, expression, and non-rigid facial dynamics. These controls are integrated through Neural-Controlled Video Diffusion with auxiliary latent completion, enabling high-fidelity facial video reconstruction directly from brain activity. Experiments show that fMRI2Face consistently improves reconstruction fidelity, identity preservation, facial geometry, and motion consistency over representative neural decoding baselines. Together, fMRI-Face and fMRI2Face establish a controlled platform for studying dynamic face perception and provide a new benchmark for fMRI-based digital human reconstruction.
• Abstract（参考訳）: 脳の活動から人間の動的な顔を再構築することは、心がアイデンティティ、表情、顔の動きをどのように知覚するかを研究する強力な方法を提供する。 しかし、fMRIベースの顔デコーディングの進歩は、制御されにくい高解像度のニューラルデータセットや、アイデンティティ固有の外観と時間変化の顔力学の両方を取り戻すのに苦労する手法によって制限されている。 1920$\times$1080でレンダリングされたフルHDデジタル人間の顔ビデオと組み合わせた最初のfMRIデータセットであるfMRI-Faceを提示する。 スキャン中、参加者は、fMRI活動が記録されている間、本人性、表情、頭部ポーズを制御した、写真リアリスティックで背景のない顔ビデオを見た。 得られたデータセットは62,856対のfMRIビデオサンプルを含み、動的顔の知覚と再構成を研究するための構造化されたリソースを提供する。 このデータセットに基づいて、fMRI信号から顔映像を再構成するための幾何誘導型ニューラルビデオデコーディングフレームワークfMRI2Faceを提案する。 fMRI2Faceは、脳の活動から2つの補完的なニューラルコントロールを派生している。脳由来の外観コンテキストは、グローバルなアイデンティティに関連する視覚的属性をキャプチャし、Morphable 3D Facial Controlは、ポーズ、表情、非厳密な顔のダイナミクスを明示的な幾何学的ガイダンスを提供する。 これらのコントロールは、Neural-Controlled Video Diffusionを通じて、補助的な潜伏完了とともに統合され、脳の活動から直接高忠実な顔ビデオの再構築を可能にする。 実験により、fMRI2Faceは、代表的神経復号ベースラインに対する再構成の忠実度、アイデンティティ保存、顔形状、動きの一貫性を一貫して改善することが示された。 fMRI-FaceとfMRI2Faceは、動的顔知覚を研究するための制御プラットフォームを確立し、fMRIベースのデジタルヒューマン再構成のための新しいベンチマークを提供する。

関連論文リスト

• Neurons: Emulating the Human Visual Cortex Improves Fidelity and Interpretability in fMRI-to-Video Reconstruction [13.110669865114533]
  NEURONSは、学習を4つの相関したサブタスクに分離するコンセプトフレームワークである。 これは視覚野の機能的特殊化をシミュレートし、モデルが多様なビデオコンテンツをキャプチャすることを可能にする。 NEURONSは視覚野と強い機能相関を示し、脳とコンピュータのインターフェースと臨床応用の可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-14T08:12:28Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Animate Your Thoughts: Decoupled Reconstruction of Dynamic Natural Vision from Slow Brain Activity [13.04953215936574]
  脳活動から人間のダイナミックビジョンを再構築する2段階モデルMind-Animatorを提案する。 fMRIの段階では,fMRIから意味的,構造的,運動的特徴を分離する。 機能とビデオの段階では、これらの機能はインフレータブル拡散(Stable Diffusion)を使ってビデオに統合される。
  論文  参考訳（メタデータ） (2024-05-06T08:56:41Z)
• NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
  本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。 公開されているfMRIデータセットでテストした結果,有望な結果が得られた。 このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T17:34:25Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。