論文の概要: Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?
- arxiv url: http://arxiv.org/abs/2604.03619v1
- Date: Sat, 04 Apr 2026 07:30:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.676835
- Title: Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?
- Title（参考訳）: 自然画像オートエンコーダは長距離ダイナミクスモデリングのためのfMRIボリュームをコンパクト化できるか?
- Authors: Peter Yongho Kim, Juhyeon Park, Jungwoo Park, Jubin Choi, Jungwoo Seo, Jiook Cha, Taesup Moon,
- Abstract要約: TABLeTは、事前訓練された2D自然言語オートエンコーダを用いてfMRIボリュームをトークン化する新しいアプローチである。
大規模なベンチマークでは、TABLeTは既存のモデルを複数のタスクで上回っている。
脳活動のスケーラブルで解釈可能な時間的モデリングのための,有望なアプローチが示唆された。
- 参考スコア（独自算出の注目度）: 18.529904812096024
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modeling long-range spatiotemporal dynamics in functional Magnetic Resonance Imaging (fMRI) remains a key challenge due to the high dimensionality of the four-dimensional signals. Prior voxel-based models, although demonstrating excellent performance and interpretation capabilities, are constrained by prohibitive memory demands and thus can only capture limited temporal windows. To address this, we propose TABLeT (Two-dimensionally Autoencoded Brain Latent Transformer), a novel approach that tokenizes fMRI volumes using a pre-trained 2D natural image autoencoder. Each 3D fMRI volume is compressed into a compact set of continuous tokens, enabling long-sequence modeling with a simple Transformer encoder with limited VRAM. Across large-scale benchmarks including the UK-Biobank (UKB), Human Connectome Project (HCP), and ADHD-200 datasets, TABLeT outperforms existing models in multiple tasks, while demonstrating substantial gains in computational and memory efficiency over the state-of-the-art voxel-based method given the same input. Furthermore, we develop a self-supervised masked token modeling approach to pre-train TABLeT, which improves the model's performance for various downstream tasks. Our findings suggest a promising approach for scalable and interpretable spatiotemporal modeling of brain activity. Our code is available at https://github.com/beotborry/TABLeT.
- Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)における長距離時空間ダイナミクスのモデル化は、4次元信号の高次元性のため重要な課題である。
以前のボクセルベースのモデルは、優れた性能と解釈能力を示すが、禁止されたメモリ要求によって制約されるため、限られた時間窓しかキャプチャできない。
そこで本研究では,2次元自然画像オートエンコーダを用いてfMRIボリュームをトークン化する手法であるTABLeT(Two-dimensionally Autoencoded Brain Latent Transformer)を提案する。
それぞれの3D fMRIボリュームは、連続トークンのコンパクトなセットに圧縮され、VRAMに制限のある単純なトランスフォーマーエンコーダによる長シーケンスモデリングを可能にする。
UK-Biobank (UKB)、Human Connectome Project (HCP)、ADHD-200データセットを含む大規模なベンチマークでは、TABLeTは既存のモデルを複数のタスクで上回り、最先端のボクセルベースの手法よりも計算とメモリ効率が大幅に向上した。
さらに,事前学習型TABLeTに対する自己教師付きマスク付きトークンモデリング手法を開発し,様々なダウンストリームタスクに対するモデルの性能を向上させる。
以上の結果から,脳活動の時空間モデリングをスケーラブルかつ解釈可能なものにするための有望なアプローチが示唆された。
私たちのコードはhttps://github.com/beotborry/TABLeT.comで利用可能です。
関連論文リスト
- NeuroRVQ: Multi-Scale EEG Tokenization for Generative Large Brainwave Models [66.91449452840318]
我々は、コードブックベースのトークン化装置を中心としたスケーラブルな大脳波モデル(LBM)であるNeuroRVQを紹介する。
我々のトークンライザは, (i) フル周波数のニューラルスペクトルを捕捉するマルチスケール特徴抽出モジュール, (ii) 高精細符号化のための階層的残留ベクトル量子化(RVQ)コードブック, (iii) 効率的なトレーニングのためのEEG信号位相および振幅認識損失関数を統合する。
実験の結果,NeuroRVQは再建誤差を低くし,様々な下流タスクにおいて既存のLBMよりも優れることがわかった。
論文 参考訳（メタデータ） (2025-10-15T01:26:52Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳（メタデータ） (2025-10-08T03:55:24Z) - BrainSymphony: A Transformer-Driven Fusion of fMRI Time Series and Structural Connectivity [2.3486335708866606]
BrainSymphonyは、ニューロイメージングのための軽量でパラメータ効率の良い基礎モデルである。
かなり小さなパブリックデータセットで事前トレーニングされた状態で、最先端のパフォーマンスを実現する。
BrainSymphonyは、アーキテクチャを意識したマルチモーダルモデルがより大きなモデルを上回る可能性があることを証明している。
論文 参考訳（メタデータ） (2025-06-23T06:00:21Z) - Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI [3.0450307343472405]
動的に進化するfMRI記録から画像を再構成するための新しい単一ステージ拡散モデルであるDynadiffを紹介する。
我々のモデルは、時間分解されたfMRI信号、特に高レベルのセマンティックイメージ再構成メトリクスの最先端モデルよりも優れています。
全体として、この研究は時間分解脳画像デコーディングの基礎となっている。
論文 参考訳（メタデータ） (2025-05-20T16:14:37Z) - Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.57727062920458]
本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。
高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。
我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
論文 参考訳（メタデータ） (2024-10-10T17:59:17Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE)
これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。
以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
論文 参考訳（メタデータ） (2023-08-10T10:01:56Z) - Data-driven modelling of brain activity using neural networks, Diffusion
Maps, and the Koopman operator [0.0]
タスク依存型fMRIデータから脳活動の長期外ダイナミクスをモデル化するための機械学習手法を提案する。
我々は拡散写像(DM)を用いて、創発的な高次元fMRI時系列が進化する低次元多様体をパラメータ化する変数の集合を発見する。
組込み多様体上にFNN(Feedforward Neural Networks)とクープマン演算子(Koopman operator)という2つの手法を用いて、低次モデル(ROM)を構築する。
論文 参考訳（メタデータ） (2023-04-24T09:08:12Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T11:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。