論文の概要: The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

• arxiv url: http://arxiv.org/abs/2606.04010v1
• Date: Fri, 29 May 2026 23:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.233794
• Title: The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail
• Title（参考訳）: 可変脳基礎モデル:10億パラメータモデルが失敗した場合の認知を予測する3次統計
• Abstract要約: 脳基礎モデル(BFM)は、fMRIデータに基づいて事前訓練された自己教師型トランスフォーマーである。 3つの最先端のBFMと我々がテストするすべての読み出しは、関数接続行列(FC)の$sim$80Kパラメータからの線形回帰よりも認識を悪く予測する。 我々は、fMRI信号をそのコキューネスを最もよく保存する部分空間に投影する線形パイプラインを設計し、そこでFCを計算する。
• 参考スコア（独自算出の注目度）: 1.64820293573702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain foundation models (BFMs) are self-supervised Transformers pretrained on fMRI data. We posit that these models should capture each subject's cognitive performance from their fMRI signal. Yet across three state-of-the-art BFMs and every readout we test, they predict cognition worse than a linear regression from the $\sim$80K parameters of the functional connectivity matrix (FC). The gap widens with scale: BrainLM's 650M model predicts cognition worse than its 111M. We attribute this to a \textbf{variance allocation problem}: BFM pretraining captures the variance components that dominate fMRI but not the higher-order structure that predicts cognition. Our per-cumulant analysis of the reconstructed signal shows that the second-order covariance is partially preserved, while the third-order co-skewness tensor is largely destroyed. To recover what BFMs lose, we design a linear pipeline that projects the fMRI signal into the subspace that best preserves its co-skewness and computes FC there. This \textbf{exceeds raw FC and every pretrained BFM} on every dataset and parcellation we test, outperforming prior state-of-the-art under controlled evaluation \textbf{with no pretraining and no GPU}. We \textbf{recover the raw-FC ceiling on BrainLM's forward pass} by finetuning with a loss targeted at this same subspace. This shows that the bottleneck is the pretraining objective, not the architecture or the model size.
• Abstract（参考訳）: 脳基礎モデル(BFM)は、fMRIデータに基づいて事前訓練された自己教師型トランスフォーマーである。 我々は、これらのモデルが各被験者のfMRI信号から認知性能を捉えるべきであると仮定する。 しかし、最先端の3つのBFMと我々がテストするすべての読み出しは、機能的接続行列(FC)の$\sim$80Kパラメータからの線形回帰よりも認識を悪く予測する。 BrainLMの6億5000万モデルは、認知度を1100万よりも悪く予測する。 BFMプレトレーニングは、fMRIを支配するが認識を予測する高次構造ではない分散成分をキャプチャする。 再構成信号の累積解析により,2階の共分散は部分的に保存され,3階の共歪テンソルは大部分が破壊されていることがわかった。 BFMが失うものを回復するために、fMRI信号をサブスペースに投影するリニアパイプラインを設計し、そのコキューネスを最もよく保存し、そこでFCを計算する。 この \textbf{exceeds raw FC and every pretrained BFM} on every dataset and parcellation we test, outperform prior-of-the-art under control evaluation \textbf{with without pretraining and no GPU}。 我々は、BrainLMのフォワードパスの生のFC天井を、同じサブスペースをターゲットにした損失で微調整することで、復元する。 これは、ボトルネックがアーキテクチャやモデルのサイズではなく、事前訓練対象であることを示している。

関連論文リスト

• ProgFormer: Hierarchical Voxel Diffusion Transformer for Longitudinal Brain MRI Prediction [81.07048249760953]
  縦方向の変化は、しばしば微妙で、特定の解剖学的領域に限られる。 ほとんどの被験者固有の脳構造は、時間とともに安定している。 ProgFormerは、縦型脳MRI予測のための階層型ボクセル空間拡散変換器である。
  論文  参考訳（メタデータ） (2026-07-30T00:13:42Z)
• OpenRFM: Dissecting Relational In-Context Learning [15.623084178502053]
  In-context Learning (ICL) を通じて1回のパスで返される事前学習された予測器は,ラベルとセルの関係が疎い場合に故障することを示す。 本稿では,リレーショナルバックボーンと,事前学習した表層基礎モデルから持ち上げられたバッチレベルICL層を結合して,関係レベルのラベル不足を克服する2段ICLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-06-03T00:48:44Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Brain-DiT: A Universal Multi-state fMRI Foundation Model with Metadata-Conditioned Pretraining [6.189635778169108]
  現在のfMRI基礎モデルは、限られた脳の状態と、ミスマッチした事前訓練タスクに依存している。 我々は24のデータセットから349,898のセッションで事前訓練された,汎用多状態fMRI基盤モデルである textitBrain-DiT を提案する。
  論文  参考訳（メタデータ） (2026-04-14T12:52:42Z)
• VFM-Recon: Unlocking Cross-Domain Scene-Level Neural Reconstruction with Scale-Aligned Foundation Priors [49.39553550491549]
  VFMReconは, シーンレベルの神経再構成において, スケール一貫性の要求を満たすトランスファー可能なVFMプリエントをブリッジする最初の試みである。 具体的には、まず、マルチビュースケールコヒーレンスを復元する軽量なスケールアライメントステージを導入する。 次に、トレーニング済みのVFM機能を、軽量なタスク固有アダプタを介して、ニューラルボリューム再構築パイプラインに統合する。
  論文  参考訳（メタデータ） (2026-03-13T05:00:44Z)
• Process-Tensor Tomography of SGD: Measuring Non-Markovian Memory via Back-Flow of Distinguishability [1.078600700827543]
  我々は,識別可能性のオンフバックフローに基づく学習記憶のモデルに依存しない簡易な目撃者を構築した。 高い運動量下での増幅, よりマイクロステップで, 厳密なブートストラップ信頼区間による一貫した正の逆流を観察した。 我々はこれを、実用的なSGDがマルコフの理想化から逸脱する、原則化された診断および実証的な証拠として位置付ける。
  論文  参考訳（メタデータ） (2026-01-23T09:03:25Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Robust Compressed Sensing MRI with Deep Generative Priors [84.69062247243953]
  臨床MRIデータに対するCSGMフレームワークの初成功例を示す。 我々は、高速MRIデータセットから脳スキャンに先立って生成をトレーニングし、Langevin dynamicsによる後部サンプリングが高品質な再構成を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-03T08:52:06Z)
• Classification of fNIRS Data Under Uncertainty: A Bayesian Neural Network Approach [0.15229257192293197]
  オープンアクセスデータセット上でバイナリ分類を行うために,ベイズニューラルネットワーク(bnn)を使用する。 私たちのモデルは、ボランティア30人に対して86.44%の全体的な分類精度を作り出した。
  論文  参考訳（メタデータ） (2021-01-18T15:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。