論文の概要: Training and Scaling Compute-Optimal Physiological Waveform Foundation Models
- arxiv url: http://arxiv.org/abs/2610.05649v1
- Date: Mon, 05 Oct 2026 00:52:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 12:14:12.647973
- Title: Training and Scaling Compute-Optimal Physiological Waveform Foundation Models
- Title（参考訳）: コンピュータ・オプティカル・ウェーブフォーム基礎モデルの訓練とスケーリング
- Abstract要約: 生理学的波形基礎モデル(FM)のスケーリング法則と計算最適トレーニングについて検討する。
我々は,MIMIC-IIIから8つの臨床予測タスクを構築し,線形探索によるFMの評価を行った。
720M FMは8つのタスクすべてで既存のベースラインFMより優れています。
- 参考スコア（独自算出の注目度）: 36.48079541755476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the scaling laws and compute-optimal training of physiological waveform foundation models (FMs). We train Aether, a family of over one hundred FMs ranging from 20M to 2.1B parameters, on up to 36.3M hours of physiological waveforms. We construct eight clinical prediction tasks from MIMIC-III and evaluate the FMs through linear probing. The 720M FM outperforms all existing baseline FMs across all eight tasks. A scaling law of model size, pretraining hours, and labeled patients predicts downstream ranking error, i.e. $1-\mathrm{AUROC}$, effectively with $0.5\%$ prediction MAE at held-out resource scales and $0.9\%$ MAE when extrapolating to 2.1B parameters. We present three findings: (1) Compute-optimal training scales both FM size and pretraining hours. Under the fitted law, a $10.0\times$ increase in compute FLOPs scales model size by $1.2\times$ and pretraining hours by $8.2\times$. (2) Larger FMs use waveform data more efficiently, and greater pretraining exposure increases the benefit of model scaling. Starting from 25M parameters and 4.8M pretraining hours, doubling FM size reduces the predicted hours needed for the same performance by $51.8\%$. (3) Pretraining and clinical supervision reinforce each other: more labeled patients increase the return to pretraining, while larger FMs and longer pretraining reduce labeling requirements. For the example of the 720M FM, extending pretraining from 120K to 36.3M hours reduces the predicted patient requirement by $61\%$ at a target ranking error. These findings provide a quantitative training recipe and a promising and durable scaling path for physiological waveform modeling and downstream clinical prediction.
- Abstract（参考訳）: 本研究では,生理学的波形基礎モデル(FM)のスケーリング法則と計算最適トレーニングについて検討する。
我々は、20Mから2.1Bのパラメータを含む100以上のFMのファミリーであるエーサーを、最大36.3M時間の生理的波形で訓練する。
我々は,MIMIC-IIIから8つの臨床予測タスクを構築し,線形探索によるFMの評価を行った。
720M FMは8つのタスクすべてで既存のベースラインFMより優れています。
モデルサイズ、トレーニング前時間、ラベル付き患者のスケーリング法則は、下流のランキングエラーを予測する。すなわち、1-\mathrm{AUROC}$は、ホールドアウトのリソーススケールで0.5\%$ MAE、2.1Bパラメータに外挿すると0.9\%$ MAEである。
1)コンピュータ・最適トレーニングはFMサイズと事前訓練時間の両方をスケールする。
適合法の下では、計算FLOPの10.0\times$増加はモデルサイズを1.2\times$にスケールし、事前学習時間を8.2\times$にスケールする。
2) 大規模FMは波形データをより効率的に利用し, プレトレーニング露光量が大きくなると, モデルスケーリングのメリットが増大する。
25Mパラメータと4.8M事前トレーニング時間から始めて、FMサイズを倍にすることで、同じパフォーマンスに必要な予測時間を51.8\%$に削減できる。
3)プレトレーニングと臨床監督は相互に強化され,ラベル付き患者が増えてプレトレーニングへの回帰が増加し,FMが大きくなり,ラベル付け要求が長くなる。
720M FMの例では、プレトレーニングを120Kから36.3M時間に延長することで、予測された患者の要求を目標ランク誤差で611\%削減する。
これらの知見は、生理学的波形モデリングおよび下流臨床予測のための定量的なトレーニングレシピと、有望で耐久性の高いスケーリングパスを提供する。
関連論文リスト
- Decomposition-Guided Diffusion Language Models for Inertial Confinement Fusion Prediction [20.091343436161385]
ナショナル・イグニション・ファシリティ(National Ignition Facility)では、それぞれ100万ドル(約1億円)の費用がかかる。
我々は、最初のLMベースのICF予測器であるICF-DLMを提案する。
ICFBench(50Kシミュレーション+232実験ショット)では、ICF-DLMは一致した自己回帰式LLaMA-3-8B上でピークタイミング誤差を11.6から9.2ステップに削減する。
論文 参考訳（メタデータ） (2026-09-07T17:00:02Z) - Abra: Scaling Diffusion Image Training [19.77608057281383]
本稿では,テキスト・画像拡散モデルのための体系的スケーリング法則について述べる。
拡散モデルは言語モデルと同等にスケールするが、最適なトレーニングを行うにははるかに多くのデータが必要であることを示す。
言語モデルとは異なり、拡散モデルはオーバートレーニングに対して堅牢であり、実践者はより大きなモデルではなく、より多くのデータ側で学習すべきである。
論文 参考訳（メタデータ） (2026-08-18T02:36:25Z) - M$^3$: Reframing Training Measures for Discretized Physical Simulations [4.531135622622384]
M$3$は、物理的変動に応じて空間を分割し、複数のスケールにまたがって監督を割り当てることで、トレーニング対策のバランスをとるフレームワークである。
様々な離散化を伴う3つの産業規模のデータセットに適用すると、M3$は連続的な物理領域における予測を一貫して改善する。
これらの結果は、演算子学習における重要な要素としてデータ分布を強調し、M$3$は、物理的に一貫したモデリングのためのスケーラブルでデータ効率の良いアプローチである。
論文 参考訳（メタデータ） (2026-05-09T09:56:14Z) - Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting [34.224490336271806]
フラットなミニマに向けてバイアス最適化を行う3つの事前学習最適化手法について検討する。
モデルのサイズは20Mから1億5000Mの範囲で、これらの介入はポストトレーニング後のダウンストリーム性能を継続的に改善する。
既存のOLMo-2-1Bチェックポイントに適用されたSAM中間トレーニングフェーズは、メタマス後トレーニング後の31%、4ビット量子化後の40%の遅延を減少させる。
論文 参考訳（メタデータ） (2026-05-04T00:02:23Z) - A Nationwide Japanese Medical Claims Foundation Model: Balancing Model Scaling and Task-Specific Computational Efficiency [2.107969466194361]
自己監督型基礎モデルは、大規模未ラベルの医療記録を活用するための有望なアプローチとして浮上している。
自然言語処理において、スケーリング法則は、より大きなモデルが予測可能な事前学習損失を減少させることを示唆している。
構造化医療基盤モデルにおけるモデルスケールとダウンストリームタスクパフォーマンスの関係について検討した。
論文 参考訳（メタデータ） (2026-04-24T08:32:47Z) - Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。
We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文 参考訳（メタデータ） (2025-11-04T17:22:22Z) - Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。
本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
論文 参考訳（メタデータ） (2025-02-06T13:23:53Z) - Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。
固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。
当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文 参考訳（メタデータ） (2024-06-21T02:28:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。