論文の概要: ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer

• arxiv url: http://arxiv.org/abs/2610.15124v1
• Date: Sat, 10 Oct 2026 18:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.16545
• Title: ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer
• Title（参考訳）: ShellElastic: 最大更新とハイパーパラメータ転送を同時に行うスケーラブルなElastic Pretraining
• Abstract要約: 私たちのものは、隠れた次元を密度の高いコアと連続したシェルに整理する弾性変換器です。 muEはOursや他のエラスティックアーキテクチャへの最大更新パラメータ化(mup)の拡張である。 単一のOurs実行はサブネットワークを生成し、MateFormerと完全に弾力的なベースラインを一致したパラメータ数で上回る。
• 参考スコア（独自算出の注目度）: 42.322048556980924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models need to support diverse inference budgets, yet training a separate model for each budget duplicates pretraining effort. Elastic models train several nested sub-networks inside one weight-shared supernet, but existing recipes face three obstacles: variable per-step workloads that hinder distributed scaling, limited hyperparameter (HP) transfer across model sizes, and no guarantee that all sub-networks are maximally updated at once. We present \Ours, an elastic transformer that organizes hidden dimensions into a dense core and successive shells, so that every hidden matrix is block lower triangular. One full-width forward pass contains every sub-network's exact hidden states as prefixes, so joint training keeps a fixed computation graph and costs about as much per step as training the widest sub-network alone. We further introduce \muE, an extension of maximal update parameterization (\mup) to \Ours and other elastic architectures. Its scaling rules provably keep all sub-networks of a supernet maximally updated simultaneously (\muI), and keep doing so when the supernet is widened or given more shells; sweeps confirm that HPs tuned on a small non-elastic proxy stay near-optimal for elastic families and larger supernets (\mbox{\muT}). A single \Ours run produces sub-networks that outperform MatFormer and fully elastic baselines at matched parameter counts, and approach separately trained models that together take several times the steps.
• Abstract（参考訳）: ファンデーションモデルは、様々な推論予算をサポートする必要があるが、それぞれの予算のために別々のモデルを訓練することは、事前訓練の努力を重複させる。 エラスティックモデルは、1つの重み付きスーパーネット内でネストしたサブネットワークをトレーニングするが、既存のレシピでは、分散スケーリングを妨げる可変ステップ毎のワークロード、モデルサイズを越えた制限されたハイパーパラメータ(HP)転送、すべてのサブネットワークが最大で更新される保証の3つに直面している。 隠れた次元を高密度のコアと連続したシェルに整理する弾性変換器である \Ours を、すべての隠れた行列が下方三角形のブロックとなるように提示する。 1つのフル幅フォワードパスは、すべてのサブネットワークの正確な隠された状態をプレフィックスとして含んでいるため、ジョイントトレーニングは固定された計算グラフを保持し、最も広いサブネットワークのみをトレーニングするのと同じくらいのコストがかかる。 さらに、最大更新パラメータ化(\mup)を拡張した \muE を \Ours や他の弾性アーキテクチャに導入する。 そのスケーリングルールは、スーパーネットのすべてのサブネットワークを最大に更新し(\muI)、スーパーネットを広げたり、より多くのシェルを与えたりしても、確実に維持する。 1つの‘Ours’実行は、MatFormerと完全に弾力的なベースラインを一致したパラメータ数で上回るサブネットワークを生成し、同時に数倍のステップを取る個別にトレーニングされたモデルにアプローチする。

関連論文リスト

• FEAST: Federated Shared-Space Training for Resource-Heterogeneous Clients [2.1485350418225244]
  フェデレーション学習は、様々な計算能力を持つデバイスに役立たなければならない。 代わりに、スーパーネットトレーニングは、異なるサイズで固定された弾性モデルを学習し、各デバイスに適切なモデルをデプロイする。 クライアントの推論予算が異なる場合、高コストの作業専用のパラメータは、より少ないクライアントで到達可能である。 この不均衡に対処する共有スペーストレーニングフレームワークであるFEASTを提案する。
  論文  参考訳（メタデータ） (2026-08-10T08:10:59Z)
• Tevatron-Elastic: A Unified Abstraction for Training Elastic Retrievers and Rerankers [71.99661189378442]
  トランスベースのモデルは、3つの方法で小さくすることができる。 単一のオブジェクトがモデルの実行可能なサイズを指定し、短いスケジュールでトレーニング対象のサイズをリストアップする。 同じ抽象化は、レトリバーとリランカの両方と、エンコーダとデコーダの両方をカバーしている。
  論文  参考訳（メタデータ） (2026-08-09T16:45:28Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• HINT: Hypernetwork Approach to Training Weight Interval Regions in Continual Learning [0.0]
  埋め込み空間内に間隔演算を用いるHINTを導入する。 我々は、連続したタスクに対するインターバル埋め込みを訓練し、ハイパーネットワークをトレーニングし、これらの埋め込みをターゲットネットワークの重みに変換する。 HINTはInterContiNetよりもはるかに優れた結果を取得し、いくつかのベンチマークでSOTA結果を与える。
  論文  参考訳（メタデータ） (2024-05-24T11:20:41Z)
• HyperMask: Adaptive Hypernetwork-based Masks for Continual Learning [0.0]
  CLタスクに応じてターゲットネットワークを動的にフィルタリングするHyperMaskという手法を提案する。 宝くじの仮説により、重み付けされた忘れ物を持つ1つのネットワークを使うことができる。
  論文  参考訳（メタデータ） (2023-09-29T20:01:11Z)
• Exclusive Supermask Subnetwork Training for Continual Learning [95.5186263127864]
  継続的な学習(CL)手法は、忘れることを避けながら、時間とともに知識を蓄積することに焦点を当てる。 本稿では,排他的および非重複的なサブネットワークウェイトトレーニングを行う ExSSNeT (Exclusive Supermask SubNEtwork Training) を提案する。 我々は,exSSNeT が従来の NLP と Vision の両領域において,忘れの防止を図りながら,従来手法よりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2022-10-18T23:27:07Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer [94.12036830697402]
  我々は,最近発見された最大更新パラメトリゼーション(muP)において,モデルサイズが変化しても最適なHPが安定していることを示す。 これは、muTransferと呼ばれる新しいHPチューニングパラダイムにつながります。 muTransfer: muPでターゲットモデルをパラメータ化し、小さなモデルで間接的にHPをチューニングし、ゼロショットでフルサイズのモデルに転送する。
  論文  参考訳（メタデータ） (2022-03-07T15:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。