論文の概要: Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model

• arxiv url: http://arxiv.org/abs/2608.13277v1
• Date: Thu, 13 Aug 2026 14:13:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.55337
• Title: Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model
• Title（参考訳）: 学習の混合:より大規模な言語モデルに小規模の訓練前実行を組み換える
• Abstract要約: Mixture of Training (MoT) は、ターゲットトランスフォーマーを連続的な層ブロックに分割する、足場付きモジュール事前トレーニング手順である。 MoTは凍結した整列器の足場内で各ブロックを訓練し、訓練されたブロックをオプションのショート・ツー・エンド適応パスで再構成する。 我々は,足場付きサブランが再利用可能なトレーニングユニットとして機能するかどうかを検討するための,小規模フレームワークとしてMoTを提案する。
• 参考スコア（独自算出の注目度）: 1.8438975114331797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask whether language-model pre-training can be decomposed into smaller, independently trainable jobs that can later be recomposed into a coherent larger model. We introduce Mixture of Training (MoT), a scaffolded modular pre-training procedure that partitions a target Transformer into contiguous layer blocks, trains each block inside a frozen pretrained aligner scaffold, and then recomposes the trained blocks with an optional short end-to-end adaptation pass. On a 1.3B-parameter Gemma-style model trained on C4, MoT provides a small-scale proof of mechanism: independently trained depth slices can be recomposed into a usable language model, and a quality-parity schedule reaches the same reported perplexity as the monolithic baseline. This parity setting processes more aggregate tokens and has a shorter idealized layer-equivalent critical path after aligner preparation; its effective compute advantage depends on reusing the aligner across runs. We therefore present MoT not as a general replacement for monolithic pre-training, but as a small-scale framework for studying whether scaffolded sub-runs can act as reusable training units.
• Abstract（参考訳）: 我々は、言語モデル事前学習をより小さく、独立した訓練可能なジョブに分解し、後にコヒーレントな大規模モデルに分解できるかどうかを問う。 そこで,本研究では,対象のトランスフォーマーを連続層ブロックに分割し,凍結した事前訓練されたコンディショナーの足場内で各ブロックを訓練し,任意のショート・ツー・エンド適応パスでトレーニングされたブロックを再構成する,足場付きモジュール事前学習手法であるMixture of Training(MoT)を紹介した。 C4でトレーニングされた1.3BパラメータのGemmaスタイルのモデルでは、MoTはメカニズムの小さな証明を提供する。独立に訓練された深度スライスを使用可能な言語モデルに分解することができ、品質・パリティのスケジュールはモノリシックなベースラインと同じ複雑度に達する。 このパリティ設定は、より集約トークンを処理し、整列器の準備後により短い理想化された層等価臨界経路を持つ。 そこで我々は,MoTをモノリシック事前学習の一般的な代替品としてではなく,足場付きサブランが再利用可能なトレーニングユニットとして機能するかどうかを研究するための小規模フレームワークとして提示する。

関連論文リスト

• Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs [36.805962131025694]
  我々は, モデルファミリーの両軸をまたいで蒸留を行うためのフレームワークであるADAPT--Amortized Distillation Across PostTrained LLMsを紹介した。 第一に,2相蒸留法は,事前学習のアライメントと微調整の指導により,後生を育成するものである。 モデルの結果の連続性は、推論時に適応的なモデルサイズ選択を可能にする。
  論文  参考訳（メタデータ） (2026-08-24T06:36:32Z)
• Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning [57.237835833636154]
  本稿では,事前学習された知識の事前情報を活用するために,拡張可能なサブスペース(マイル)を用いたMetrIc Learningを提案する。 Milesは様々なCIL設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-20T06:22:02Z)
• Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts [76.12264847243816]
  本稿では、独立したドメインエキスパートを訓練するBARについて、それぞれ独自の中級訓練、教師付き微調整、強化学習パイプラインを用いて、軽量ルータトレーニングを備えたMixture-of-Expertsアーキテクチャを用いて構成する。 7Bスケールでは、数学、コード、ツールの使用、安全性の専門家がおり、総合スコアは49.1である。 各ドメインを分離することで、後期のRLが早期のトレーニング段階から機能を低下させたときに発生する破滅的な忘れを回避し、ドメインの更新や追加のコストと複雑さを著しく低減する。
  論文  参考訳（メタデータ） (2026-04-20T16:24:41Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Tuning Language Models by Mixture-of-Depths Ensemble [23.10522891268232]
  Transformer-based Large Language Models (LLMs) は伝統的に、トレーニングのための最終層損失と予測のための最終層表現に依存している。 中間層にトレーニングを集中させることで、最終層に匹敵するトレーニング損失が得られることが分かりました。 我々は,後期層を最終ロジットに寄与するアンサンブルとして訓練する新しいチューニングフレームワークであるMixture-of-Depths(MoD)を導入する。
  論文  参考訳（メタデータ） (2024-10-16T22:51:45Z)
• Breaking the Memory Wall for Heterogeneous Federated Learning via Progressive Training [17.885679388567887]
  ProFLはFLのメモリ制約に効果的に対処する新しいフレームワークである。 モデルを元のアーキテクチャに基づいてブロックに分割し、プログレッシブな方法で各ブロックをトレーニングする。 ProFLはピークメモリのフットプリントを57.4%削減し、モデル精度を82.4%向上させた。
  論文  参考訳（メタデータ） (2024-04-20T11:08:07Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Mini-Model Adaptation: Efficiently Extending Pretrained Models to New Languages via Aligned Shallow Training [36.5936227129021]
  トランスフォーマー本体を凍結させながら、新しい組込みを学習することで、事前訓練されたマスケッド言語モデルを新しい言語に拡張することができる。 我々は,大容量モデルのパラメータのごく一部から浅いミニモデルを構築する計算効率の代替モデルであるミニモデル適応を提案する。 新しい言語固有の埋め込みは、ミニモデル上で効率的に訓練され、高速な言語間移動のために整列した大きなモデルにプラグインされる。
  論文  参考訳（メタデータ） (2022-12-20T18:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。