論文の概要: A Scaling Study for fMRI Foundation Models

• arxiv url: http://arxiv.org/abs/2609.27232v1
• Date: Wed, 23 Sep 2026 02:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.824048
• Title: A Scaling Study for fMRI Foundation Models
• Title（参考訳）: fMRI基礎モデルのスケーリングに関する研究
• Abstract要約: 200以上のソースデータセットと1万以上のGPU時間実験の事前トレーニングデータを用いて、制御された実証的研究を行う。 データサイズ、モデルサイズ、トレーニング期間が異なり、ダウンストリームのパフォーマンスは一般的に計算によって改善されます。 追加の事前トレーニングデータは、より大きなモデルサイズで大きなゲインをもたらし、データとモデルサイズを一緒にスケールする必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 6.189635778169108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws have guided large-model development in computer vision and natural language processing, but the relationships among data, model size, and compute remain unclear for functional magnetic resonance imaging (fMRI) foundation models. Here, we conduct a controlled empirical study using pretraining data from more than 200 source datasets and over 10,000 GPU-hours of experiments. Holding the pretraining framework and downstream protocol fixed, we vary pretraining data size, model size, and training duration. Downstream performance generally improves with compute, yet models using similar compute can perform substantially differently. Additional pretraining data bring larger gains at larger model sizes, suggesting that data and model size should be scaled together. At matched compute, increasing pretraining data benefits more tasks than increasing model size, although the pattern varies across tasks. We then use in-distribution (ID) downstream performance to select the combination of pretraining data size, model size, and training duration at two fixed compute budgets. The resulting models are locked before out-of-distribution (OOD) evaluation. They achieve the highest average performance across the evaluated OOD tasks among the compared fMRI foundation models while using less pretraining compute. Overall, our results show that compute alone does not characterize fMRI scaling: performance depends on how pretraining data, model size, and training duration are combined.
• Abstract（参考訳）: スケーリング法則は、コンピュータビジョンと自然言語処理における大規模モデル開発を導いているが、機能的磁気共鳴イメージング(fMRI)の基礎モデルでは、データ、モデルサイズ、計算の関係は未だ不明である。 ここでは、200以上のソースデータセットと1万以上のGPU時間実験の事前トレーニングデータを用いて、制御された経験的研究を行う。 事前トレーニングフレームワークとダウンストリームプロトコルを固定しておくと、事前トレーニングデータサイズ、モデルサイズ、トレーニング期間が異なります。 ダウンストリーム性能は一般に計算で改善されるが、類似の計算を用いたモデルでは大幅に異なる性能を発揮する。 追加の事前トレーニングデータは、より大きなモデルサイズで大きなゲインをもたらし、データとモデルサイズを一緒にスケールする必要があることを示唆している。 一致した計算では、事前学習データの増加は、タスクによって異なるが、モデルサイズの増加よりも多くのタスクの恩恵を受ける。 次に、事前学習データサイズ、モデルサイズ、および2つの固定された計算予算でのトレーニング期間の組み合わせを選択するために、イン・ディストリビューション(ID)ダウンストリームのパフォーマンスを使用します。 結果のモデルは、アウト・オブ・ディストリビューション(OOD)評価の前にロックされる。 彼らは、事前学習の少ない計算を用いて、比較されたfMRI基礎モデルのうち、評価されたOODタスク全体で最高の平均性能を達成する。 以上の結果から,fMRIのスケーリングは計算だけでは特徴付けられていないことが明らかとなった。

関連論文リスト

• Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss [7.969401498219657]
  本研究では,英語対応コーパス上での高密度大言語モデルの学習速度とバッチサイズのスケーリング挙動について検討した。 我々はこれらの関係を捉えたモデルを開発する。 本研究は,OpenEuroLLMモデル開発のための第1のベースラインとスケーリング手順を確立する。
  論文  参考訳（メタデータ） (2026-08-28T13:16:56Z)
• Scaling Law Analysis in Federated Learning: How to Select the Optimal Model Size? [12.791994483385409]
  高品質で精度の高いトレーニングデータの枯渇に対する懸念が高まっている。 Federated Learningにおけるトレーニングデータセットの分散化は、大規模なモデルをスケールする上での課題を導入している。 本稿では,従来のモデルスケーリング体験をフェデレートした学習シナリオに一般化するための洞察を提供する。
  論文  参考訳（メタデータ） (2025-11-15T12:41:25Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• The interplay between domain specialization and model size [8.653321928148547]
  計算制約シナリオ下での継続事前学習におけるドメインサイズとモデルサイズ間の相互作用について検討する。 我々の目標は、このシナリオに最適なトレーニング体制を特定し、異なるモデルサイズとドメインにまたがって一般化可能な、この相互作用のパターンを検出することです。
  論文  参考訳（メタデータ） (2025-01-03T19:28:53Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。