論文の概要: Training Foundation Models with a Single Algorithm

• arxiv url: http://arxiv.org/abs/2610.40564v1
• Date: Thu, 29 Oct 2026 17:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.552997
• Title: Training Foundation Models with a Single Algorithm
• Title（参考訳）: 単一アルゴリズムによる基礎モデルの訓練
• Abstract要約: 基礎モデルは通常、事前訓練、中等訓練、教師付き微調整(SFT)、強化学習(RL)の段階で訓練される。 これらのステージはすべて、単一の可能性ベースのトレーニングアルゴリズム、統一トレーニングの下に配置します。 静的データとRL世代を1つのトレーナー内で混合する統合トレーニングシステムで、このフレームワークをインスタンス化する。
• 参考スコア（独自算出の注目度）: 66.61985711971711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are typically trained in stages: pretraining, midtraining, supervised fine-tuning (SFT), and reinforcement learning (RL), with changes in both data and learning algorithms. We show that this algorithmic separation is not fundamental. By deriving suitable RL objectives as maximum-likelihood fitting to model-generated target distributions, we place all of these stages under a single likelihood-based training algorithm, unified training. This perspective turns the foundation-model training lifecycle into a problem of choosing which data to train on, in what proportions, and when, with conventional staged training as a special case. We instantiate this framework in a unified training system that mixes static data and RL generations within a single trainer. Across controlled and real-world experiments, unified training improves the accuracy-compute tradeoff and task coverage while preserving broader capabilities, and provides a stronger starting point for continual learning. This work lays the groundwork for a unified science of foundation-model training, connecting mathematical principles, training infrastructure, and the development of model capabilities.
• Abstract（参考訳）: 基礎モデルは通常、事前訓練、中等訓練、教師付き微調整(SFT)、強化学習(RL)の段階で訓練され、データと学習アルゴリズムの両方に変化がある。 このアルゴリズムの分離は基本的なものではない。 モデル生成対象分布に適合する最適RL目標を導出することにより、これらすべての段階を単一の確率ベーストレーニングアルゴリズム、統一トレーニングの下に配置する。 この視点は、ファンデーションモデルトレーニングライフサイクルを、どのデータをトレーニングするか、どの比率で、いつ、特定のケースとして従来のトレーニングを行うかという問題へと変えます。 静的データとRL世代を1つのトレーナー内で混合する統合トレーニングシステムで、このフレームワークをインスタンス化する。 制御された実世界の実験全体を通じて、統一されたトレーニングは、より広範な能力を維持しながら、正確で計算可能なトレードオフとタスクカバレッジを改善し、継続的な学習の出発点としてより強力なものを提供します。 この研究は、基礎モデルトレーニングの統一科学、数学的原理の結合、訓練インフラ、モデル能力の開発の基礎となる。

関連論文リスト

• On the Impossibility of Retrain Equivalence in Machine Unlearning [43.39599739799909]
  機械学習は、モデルの出力に関する特定のトレーニングデータの"影響"を選択的に除去しようとする。 理想的なゴールは、保持されたデータのみに基づいて、スクラッチからトレーニングされたモデルと同一のトレーニング等価性である。 現代のパイプラインは、しばしば多段階のトレーニングを伴い、各ステージは異なるデータ分散と目的を持っている。
  論文  参考訳（メタデータ） (2025-10-18T19:58:31Z)
• DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
  本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。 我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。 実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:10:27Z)
• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。