論文の概要: Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories

• arxiv url: http://arxiv.org/abs/2609.37169v1
• Date: Tue, 29 Sep 2026 09:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.403245
• Title: Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories
• Title（参考訳）: トラジェクトリ・スープ:横方向軌道を通したLLMミッドトレーニングのコンピュータスケーリングフロンティアを推し進める
• Abstract要約: 本稿では,複数の独立したブランチにトレーニング中の予算を分散するTrjectory Soupを紹介する。 整合した予算の下では,トラジェクトリ・スープは最強の単軌道平均よりもダウンストリーム性能が向上することを示す。 これらの結果から, 実測軌道配置とマージは, シリアル飽和を超えた中間訓練の計算スケーリングフロンティアを拡張する実用的な方法として位置づけられた。
• 参考スコア（独自算出の注目度）: 43.070343139701215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mid-training equips pretrained large language models with specialized and reasoning capabilities, but the returns of this stage are bounded since additional serial compute yields little further downstream improvement and can even degrade some capabilities, which places a practical ceiling on how much compute mid-training absorbs. We revisit how this compute should be allocated to a single run or multiple similar optimizations. We find that branches forked from a shared checkpoint under various controlled recipe reaches measurably different regions of parameter space, and establish a form of compatible diversity that extending one run cannot supply. Therefore, we introduce Trajectory Soup, which distributes a mid-training budget over several independent branches, and consolidates strongest checkpoints selected on validation through intra- and inter-trajectory averaging into a single model. A local bias and variance analysis separates the two averaging levels, showing that inter-trajectory averaging removes residual error beyond the reach of averaging within a trajectory, while checkpoint selection carries a bias that bounds how many checkpoints are worth merging. Across model scales, learning-rate schedules, token budgets, and trajectory counts, Trajectory Soup improves aggregate downstream performance over the strongest single-trajectory average under matched budgets and keeps improving as budgets expand, with the advantage preserved after an identical post-training pipeline. These results position trajectory allocation and merging as a practical way to extend the compute-scaling frontier of mid-training beyond serial saturation.
• Abstract（参考訳）: 中級訓練機は、特殊および推論能力を備えた事前訓練された大きな言語モデルを持つが、このステージのリターンは、追加のシリアル計算が下流の改善をほとんど得られず、いくつかの能力を低下させる可能性があるため、計算中級訓練機がどれだけ吸収されるかに実用的な天井を置くことができるため、境界づけられる。 我々は、この計算をどのように単一実行または複数の類似した最適化に割り当てるべきかを再検討する。 様々な制御されたレシピの下で共有チェックポイントから分岐された分岐がパラメータ空間の可測領域に到達し、1回の実行で供給できない互換性のある多様性の形式を確立することを発見した。 そこで,複数の独立したブランチにトレーニング中の予算を分散し,軌道内および軌道間平均化による検証で選択された最強のチェックポイントを1つのモデルに集約するトラジェクトリ・スープを提案する。 局所バイアスと分散分析は2つの平均化レベルを分離し、軌道間平均化は軌道内の平均化の範囲を超えた残差誤差を除去することを示した。 モデルスケール、学習レートのスケジュール、トークンの予算、トラジェクトリカウントの合計では、トラジェクトリ・スープは一致した予算の下で最強の単一軌道平均よりもダウンストリームのパフォーマンスを改善し、予算が拡大するにつれて改善を続け、同じトレーニング後のパイプラインの後に利益が保存される。 これらの結果から, 実測軌道配置とマージは, シリアル飽和を超えた中間訓練の計算スケーリングフロンティアを拡張する実用的な方法として位置づけられた。

関連論文リスト

• Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs [3.7044133020722954]
  Online Kernel Supervised principal Component Analysis (OKSPCA)は、有限乱数係数座標における中心となるクロスモーメントと、確立された目的に対するAdamスタイルの正則基底更新を組み合わせたものである。 有限乱数係数座標における中心的クロスモーメントと、確立された目的に対するAdamスタイルの正規直交基底更新を組み合わせたOKSPCAについて、これらの区別について検討する。
  論文  参考訳（メタデータ） (2026-09-17T14:19:29Z)
• Contrastive Branch Policy Optimization [16.16893757028268]
  検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。 既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。 本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
  論文  参考訳（メタデータ） (2026-08-25T09:25:55Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• General learned delegation by clones [55.144380092379976]
  シリアル推論や非協調並列サンプリングは、固定された推論予算の下では計算非効率である。 本研究では,SELFCESTを提案する。SELFCESTは,同じクローンを異なる並列コンテキストで生成する機能を備えたベースモデルである。
  論文  参考訳（メタデータ） (2026-02-03T15:53:35Z)
• Adapt, But Don't Forget: Fine-Tuning and Contrastive Routing for Lane Detection under Distribution Shift [3.394257279821418]
  データセット間の分散シフトは、微調整中に破滅的な忘れ物を引き起こす可能性がある。 本フレームワークは,分布毎に異なるモデルをトレーニングするよりも,パラメータをはるかに少なくしながら,ほぼ最適F1スコアを実現する。
  論文  参考訳（メタデータ） (2025-07-22T18:39:15Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。