論文の概要: Scaling Vision Transformers for Functional MRI with Flat Maps

• arxiv url: http://arxiv.org/abs/2510.13768v1
• Date: Wed, 15 Oct 2025 17:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.786291
• Title: Scaling Vision Transformers for Functional MRI with Flat Maps
• Title（参考訳）: フラットマップを用いた機能MRI用視力変換器のスケーリング
• Authors: Connor Lane, Daniel Z. Kaplan, Tanishq Mathew Abraham, Paul S. Scotti,
• Abstract要約: 我々は4次元fMRIデータを2次元fMRI活動フラットマップのビデオに変換する。 我々はfMRIフラットマップビデオの2.3K時間でビジョントランスフォーマーを訓練する。 この研究は、fMRIデータの基盤モデルを構築するための、進行中のオープンサイエンスプロジェクトの一部である。
• 参考スコア（独自算出の注目度）: 5.8791412590811305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key question for adapting modern deep learning architectures to functional MRI (fMRI) is how to represent the data for model input. To bridge the modality gap between fMRI and natural images, we transform the 4D volumetric fMRI data into videos of 2D fMRI activity flat maps. We train Vision Transformers on 2.3K hours of fMRI flat map videos from the Human Connectome Project using the spatiotemporal masked autoencoder (MAE) framework. We observe that masked fMRI modeling performance improves with dataset size according to a strict power scaling law. Downstream classification benchmarks show that our model learns rich representations supporting both fine-grained state decoding across subjects, as well as subject-specific trait decoding across changes in brain state. This work is part of an ongoing open science project to build foundation models for fMRI data. Our code and datasets are available at https://github.com/MedARC-AI/fmri-fm.
• Abstract（参考訳）: 最新のディープラーニングアーキテクチャを機能MRI(Functional MRI)に適応させる上で重要な問題は、モデル入力のデータをどのように表現するかである。 fMRIと自然画像のモダリティギャップを埋めるために、4次元体積fMRIデータを2次元fMRI活動フラットマップのビデオに変換する。 我々は、時空間マスク付きオートエンコーダ(MAE)フレームワークを用いて、ヒューマンコネクトームプロジェクト(Human Connectome Project)からfMRIフラットマップビデオの2.3K時間でビジョントランスフォーマーを訓練する。 マスクされたfMRIモデリング性能は、厳密な電力スケーリング則に従ってデータセットサイズで向上する。 下流分類ベンチマークでは、被験者間での微粒な状態復号化と、脳の状態の変化に対する主観的特徴復号化の両方をサポートするリッチな表現を学習している。 この研究は、fMRIデータの基盤モデルを構築するための、進行中のオープンサイエンスプロジェクトの一部である。 私たちのコードとデータセットはhttps://github.com/MedARC-AI/fmri-fm.comで公開されています。

関連論文リスト

• Looking through the mind's eye via multimodal encoder-decoder networks [7.949204393111349]
  本研究では,fMRIによる被験者の心像の復号化について検討する。 被験者が視聴した映像と視覚画像から得られたfMRI信号のマッピングを作成する。 我々は5つの被験者のデータからなる既存のfMRIデータセットを強化し、我々のチームによって収集された3つの被験者の録音を含むようにした。
  論文  参考訳（メタデータ） (2024-09-27T20:48:03Z)
• MinD-3D++: Advancing fMRI-Based 3D Reconstruction with High-Quality Textured Mesh Generation and a Comprehensive Dataset [50.534007259536715]
  機能的磁気共鳴イメージング(fMRI)データから3次元視覚を再構成することは、認知神経科学とコンピュータビジョンにとって重要な関心事である。 我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4,768個の3Dオブジェクトを展示する。 テクスチャ化された3次元視覚情報をfMRI信号から復号する新しいフレームワークMinD-3D++を提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Animate Your Thoughts: Decoupled Reconstruction of Dynamic Natural Vision from Slow Brain Activity [13.04953215936574]
  脳活動から人間のダイナミックビジョンを再構築する2段階モデルMind-Animatorを提案する。 fMRIの段階では,fMRIから意味的,構造的,運動的特徴を分離する。 機能とビデオの段階では、これらの機能はインフレータブル拡散(Stable Diffusion)を使ってビデオに統合される。
  論文  参考訳（メタデータ） (2024-05-06T08:56:41Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• Video4MRI: An Empirical Study on Brain Magnetic Resonance Image Analytics with CNN-based Video Classification Frameworks [60.42012344842292]
  3次元CNNモデルが磁気共鳴画像(MRI)解析の分野を支配している。 本稿では,アルツハイマー病とパーキンソン病の認識の4つのデータセットを実験に利用した。 効率の面では、ビデオフレームワークは3D-CNNモデルよりも5%から11%、トレーニング可能なパラメータは50%から66%少ない。
  論文  参考訳（メタデータ） (2023-02-24T15:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。