論文の概要: Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe

• arxiv url: http://arxiv.org/abs/2610.22019v1
• Date: Thu, 15 Oct 2026 14:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.137645
• Title: Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe
• Title（参考訳）: エージェント・ポスト・トライニングのためのプライミングベースモデル:オープン・ミッドトレーニング・レシピ
• Abstract要約: エージェント・ポストトレーニングのための基本モデルを素数化するオープン・ミッドトレーニング・レシピを提案する。 異なる大きさの2つのネモトロンモデルに対して、その効果を示す。
• 参考スコア（独自算出の注目度）: 51.99132479434351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier models, general-purpose and domain-specific alike, now include a midtraining stage between pretraining and post-training, but little has been published about how this stage is built. We present an open midtraining recipe that primes base models for agentic post-training, and we show its effectiveness on two Nemotron models of different sizes. Pretraining typically runs at short context and sees almost no agent interactions, while SFT data is mostly synthetic, and very long SFT stages can hurt the model's later RL trainability. Our midtraining stage sits between the two. It trains at 256K context for hundreds of billions of tokens on a diverse mixture of natural software-engineering data like packed repositories, pull requests, commit histories, and build logs together with a small share of agentic traces. On Nemotron 3.5 Lightning, 500B midtraining tokens improve SWE-bench Verified from 60.7 to 64.5, SWE-bench Multilingual from 55.8 to 62.8, and SWE-bench Pro from 32.0 to 35.5 after identical full SFT. On the larger Nemotron 3.5 Super, 280B midtraining tokens improve DeepSWE, a harder benchmark of long-horizon tasks, from 11.7 to 15.7 and SWE-bench Verified from 72.9 to 74.3 after identical full SFT. Midtraining also improves robustness across agent harnesses on both models. We report the ablations behind the recipe and an evaluation protocol built on short fixed SFT runs, since base-model proxy metrics did not correlate reliably with post-training results.
• Abstract（参考訳）: フロンティアモデル(汎用モデルとドメイン固有モデル)は、現在、事前訓練と後訓練の中間段階を含んでいるが、この段階がどのように構築されているかについてはほとんど発表されていない。 エージェント・ポストトレーニングのための基本モデルを素数化するオープン・ミッドトレーニング・レシピを提案し、異なる大きさの2つのネモトロン・モデルに対してその有効性を示す。 プレトレーニングは通常、短いコンテキストで実行され、エージェント間の相互作用はほとんど見られないが、SFTデータはほとんど合成され、非常に長いSFTステージは後のモデルのRLトレーサビリティを損なう。 私たちのミッドトレーニングのステージは2つの間にあります。 大量のリポジトリやプルリクエスト、コミット履歴、ログのビルドなど、さまざまな種類のソフトウェアエンジニアリングデータを使って、数十億のトークンを256Kのコンテキストでトレーニングする。 ネモトロン3.5では、500BのミッドトレーニングトークンがSWEベンチを60.7から64.5に、SWEベンチを55.8から62.8に、SWEベンチを32.0から35.5に改善した。 より大型のネモトロン3.5スーパーでは、280BのミッドトレーニングトークンがDeepSWEを改善し、11.7から15.7に、SWE-benchは72.9から74.3に検証された。 トレーニング中は、両方のモデルでエージェントハーネス間の堅牢性も向上する。 提案手法は,短時間のSFT実行をベースとした評価プロトコルとレシピの背景にある問題点を報告する。

関連論文リスト

• Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
  私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:55:47Z)
• Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents [42.7127695634038]
  私たちのデータセットは 9つのプログラミング言語にまたがる 207,489のエージェント・トラジェクトリのデータセットです このデータは、長距離推論が可能なモデルのトレーニングを容易にする。 最高の性能モデルは、SWEベンチ検証で61.7%、SWEベンチ多言語で57.1%、SWEベンチProで36.8%である。
  論文  参考訳（メタデータ） (2026-06-14T22:10:06Z)
• Yet Even Less Is Even Better For Agentic, Reasoning, and Coding LLMs [28.672417618778976]
  効果的なソフトウェアエンジニアリングエージェントの訓練には、大量のタスク固有の軌道が必要である。 より少ないが高品質な訓練軌道で優れたエージェント能力を実現するエンドツーエンドのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T12:33:25Z)
• IMU-1: Sample-Efficient Pre-training of Small Language Models [0.0]
  IMU-1は、72Bトークンで訓練された430Mパラメータ言語モデルであり、56倍のデータで訓練されたモデルのベンチマーク性能にアプローチする。 本稿では、最近のアーキテクチャ介入(QK-norm attention, per-head gating, value residuals, LayerNorm scalings)と最適化の進歩を組み合わせた検証済みのトレーニングレシピについて述べる。
  論文  参考訳（メタデータ） (2026-01-25T21:24:15Z)
• Kimi k1.5: Scaling Reinforcement Learning with LLMs [84.95584393629998]
  我々は、強化学習で訓練された最新のマルチモーダル言語モデル、Kimi k1.5の訓練実践について報告する。 長いコンテキストスケーリングと改善されたポリシー最適化手法が、我々のアプローチの鍵となる要素である。 本システムは,複数のベンチマークやモダリティに対して,最先端の推論性能を実現する。
  論文  参考訳（メタデータ） (2025-01-22T02:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。