論文の概要: Scaling Zero-Order Pretraining through Model Sharding
- arxiv url: http://arxiv.org/abs/2609.37899v1
- Date: Tue, 29 Sep 2026 16:00:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.719767
- Title: Scaling Zero-Order Pretraining through Model Sharding
- Title（参考訳）: モデルシャーディングによるゼロオーダー事前学習のスケーリング
- Abstract要約: ゼロオーダー最適化(ZO)はバックプロパゲーションのない列車であり、前方のみのハードウェアと非微分不能な損失に関係している。
SOMAは、同時摂動近似を使用して、N$のデータクラスタ上でLSTM専門家を独立に訓練する。
テスト対象のモノリシックなZO制御に対して,モデム推論によりトレーニング計算効率が向上することを示す。
- 参考スコア（独自算出の注目度）: 23.669341805296924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-order optimization (ZO) trains without backpropagation, making it relevant to forward-only hardware and non-differentiable loss, but its gradient variance grows with perturbed dimension, inhibiting large-model training. Sharded Optimization Mixture of Assemblies (SOMA) trains LSTM experts independently on $N$ data clusters using simultaneous perturbation stochastic approximation (SPSA), without exchanging gradients, activations or optimizer state. Its separable loss removes cross-expert perturbation noise at the cost of jointly learned representations across domains. Using 80,000 estimated RTX 5090 GPU-hours, we show modest sharding improves training compute efficiency over all tested monolithic ZO controls. At 8.44M parameters and 150 aggregate GPU-hours, SOMA $N=2$ with 64 perturbations reaches 1.76 test nats/byte, versus 2.00--2.11 for monolithic SPSA at 64, 256 or 1,024 perturbations and 2.21 for EGGROLL. On WikiText-103, these frozen checkpoints reach 2.07, 2.25--2.36 and 2.49, respectively. On a fixed separable objective with equal-size blocks, we prove independent losses reduce relative gradient variance to approximately $1/N$ of a shared-loss estimator's. Holding starting weights, data, perturbations and compute fixed, independent rather than summed losses lower SOMA $N=4$ test loss by 0.035 nats/byte after 1,000 updates across three seeds. Larger ensembles offer a separate inference benefit: at similar model size with top-$k$ routing ($k=4$), SOMA $N=256$ achieves 2.36M tokens/s versus 257k for SOMA $N=8$ ($9.19\times$, including routing), at lower test loss (1.68 versus 1.71), albeit using $59.9\times$ as much aggregate training compute. We release all training and evaluation code and checkpoints.
- Abstract（参考訳）: ゼロオーダー最適化 (ZO) 列車は後部プロパゲーションを伴わないため、前方のみのハードウェアと非微分損失に関係するが、勾配のばらつきは摂動次元とともに増大し、大型モデルの訓練を阻害する。
SOMA(Sharded Optimization Mixture of Assemblies)は、LSTMの専門家を、勾配やアクティベーション、オプティマイザ状態の交換なしに、同時摂動確率近似(SPSA)を用いて、N$のデータクラスタ上で独立に訓練する。
その分離可能な損失は、ドメイン間の共同学習表現のコストで、クロスエキスパート摂動ノイズを除去する。
80,000のRTX 5090 GPU-hoursを用いて、モデムシャーディングにより、テスト済みのZOコントロールすべてに対して、トレーニング計算効率が向上することを示す。
8.44Mパラメータと150のGPU時間で、64の摂動を持つSOMA $N=2$は1.76のテストナット/バイトに達し、64、256または1,024の摂動を持つモノリシックSPSAは2.00--2.11、EGGROLLは2.21である。
WikiText-103では、これらの凍結チェックポイントはそれぞれ2.07, 2.25--2.36, 2.49に達した。
等サイズのブロックを持つ固定分離対象に対して、独立損失は相対勾配のばらつきを、共有損失推定器の約1/N$に減少させる。
SOMA $N=4$テスト損失を3つのシードに対して1,000回の更新後、0.035 nats/byteに下げる。
SOMA$N=256$は2.36Mトークン/s、SOMA$N=8$(9.19\times$、ルーティングを含む)は2.36Mトークン/s、低いテスト損失(1.68対1.71)は59.9\times$である。
すべてのトレーニングと評価コードとチェックポイントをリリースします。
関連論文リスト
- Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model [0.0]
Cadenceは、数値時系列のエラーバウンド損失圧縮機である。
330Mシリーズの基礎モデルと適応型算術コーダを組み合わせている。
論文 参考訳（メタデータ） (2026-09-05T10:25:09Z) - BiKAN: Restoring Collapsed Basis of Binary Kolmogorov--Arnold Networks [6.860988566886594]
Kolmogorov-Arnold Network(KAN)のバイナリ化は各レイヤで利用可能な関数空間を変更する。
提案するBiKANは,各2進数2のWalsh文字を加算することにより,この問題に対処する。
W1A1では、ビカンは99.48%、84.38%、Mは55.81%、401AR-10は72AR-100である。
論文 参考訳（メタデータ） (2026-08-02T20:49:59Z) - Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy [17.48959208263029]
我々は,クリーンな後進平均を予測し,正確なカーネル依存線形写像を用いてスコアに変換するEmphmean-to-score (M2S)を導入する。
均一な汚職のために、確率的単純度をブリッジポリトープにマッピングし、吸収マスクの破損のためにMD4を正確に回収する。
論文 参考訳（メタデータ） (2026-07-23T14:37:30Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - DualTCN: A Physics-Constrained Temporal Convolutional Network for 2 Time-Domain Marine CSEM Inversion [1.2031796234206138]
DualTCNは、時間領域の海洋電磁制御源(MCSEM)過渡データを反転させるための最初のディープラーニングフレームワークである。
このフレームワークは、4つのアースモデルパラメータを回帰し、微分可能なソフトステップデコーダを用いてプロファイルを再構成する。
このフレームワークは、カリキュラムベースの振幅増大によるノイズに対する高い堅牢性を示し、平均$barR2$ 0.858 at $pm2%$ランダム振幅誤差を維持している。
論文 参考訳（メタデータ） (2026-05-06T14:58:17Z) - Fast Compute for ML Optimization [0.0]
分散平均スケール-混合表現を含む損失に対する最適化について検討する。
その結果、SM-EM(Scale Mixture EM)アルゴリズムは、ユーザが指定した学習率と運動量スケジュールを除去する。
基底(非加速)アルゴリズムでは、EM単調性は非増加目標値を保証する。
論文 参考訳（メタデータ） (2026-02-15T19:09:58Z) - A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。
ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
論文 参考訳（メタデータ） (2023-10-22T21:38:57Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Sharper Convergence Guarantees for Asynchronous SGD for Distributed and
Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。
本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。
また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文 参考訳（メタデータ） (2022-06-16T17:10:57Z) - Uncovering the Limits of Adversarial Training against Norm-Bounded
Adversarial Examples [47.27255244183513]
本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。
我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
論文 参考訳（メタデータ） (2020-10-07T18:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。