論文の概要: Miles v0.1: Production-Level Post-Training

• arxiv url: http://arxiv.org/abs/2609.08368v1
• Date: Tue, 08 Sep 2026 07:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.607806
• Title: Miles v0.1: Production-Level Post-Training
• Title（参考訳）: マイルスv0.1:生産レベルポストトライニング
• Abstract要約: Milesは、研究者や企業にも、フロンティア規模の強化学習を提供することを目指している。 SGLang上に構築されたロールアウトエンジン、2つのバックエンドと3つの重み同期トランスポートを選択したトレーナーである。 GLM-5.2 744B-A40B モデル上での完全非同期エージェント RL を端末用符号化タスク上でのエンド・ツー・エンドのケーススタディに近づける。
• 参考スコア（独自算出の注目度）: 21.180091589900794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Miles v0.1, a full-stack, production-ready system for frontier post-training. Building upon the clean design of slime, Miles designs each stage of the reinforcement-learning (RL) training loop around a single principle: components should be verified, clean, and customizable. With accuracy, efficiency, reliability, and scalability as first-class goals, Miles aims to make frontier-scale RL accessible to researchers and enterprises alike. This report walks through the system end to end: rollout engines built on SGLang, a trainer with a choice of two backends (NVIDIA Megatron-LM and PyTorch FSDP), and three weight-synchronization transports for different deployment topologies. Beyond full-parameter RL, Miles also supports LoRA RL, on-policy distillation, supervised fine-tuning, and true-on-policy rollout-training alignment, and extends the same architecture to diffusion models. We close with an end-to-end case study: fully asynchronous agentic RL on a GLM-5.2 744B-A40B model over terminal-use coding tasks, running on 64 NVIDIA GB300 GPUs with a median step time of 263 seconds over the first 30 measured steps. Miles is open-sourced at https://github.com/radixark/miles, with the project website at https://miles.radixark.com.
• Abstract（参考訳）: 我々は、フロンティア後トレーニングのためのフルスタックでプロダクション対応のシステムであるMiles v0.1を紹介する。 スライムのクリーンな設計に基づいて、マイルズは強化学習(RL)トレーニングループの各ステージを単一の原則で設計する。 Milesは、精度、効率、信頼性、スケーラビリティを第一級目標とすることで、研究者や企業でもフロンティアスケールのRLを利用できるようにすることを目指している。 SGLangは2つのバックエンド(NVIDIA Megatron-LMとPyTorch FSDP)と、異なるデプロイメントトポロジのための3つの重み同期トランスポートを備えたトレーナーである。 フルパラメータRL以外にも、マイルズはLoRA RL、オンライン蒸留、監督された微調整、真のロールアウトトレーニングアライメントをサポートし、同じアーキテクチャを拡散モデルに拡張している。 GLM-5.2 744B-A40Bモデル上で、64個のNVIDIA GB300 GPU上で、最初の30ステップで263秒の平均的なステップタイムで実行する。 Milesはhttps://github.com/radixark/milesでオープンソース化されており、プロジェクトのWebサイトはhttps://miles.radixark.comにある。

関連論文リスト

• MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning [54.082979654934]
  強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。 既存のRLフレームワークのほとんどは、ポリシー更新で停止する。 オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
  論文  参考訳（メタデータ） (2026-08-23T01:49:04Z)
• Synthetic Sandbox for Training Machine Learning Engineering Agents [26.34347159807133]
  SandMLEは、少数のシードタスクから検証可能な合成MLE環境を生成するマルチエージェントフレームワークである。 我々は,SandMLEが13回以上実行時間を短縮し,MLEドメインで初めて大規模かつオン・ポリティクスなRLを実現することを示す。
  論文  参考訳（メタデータ） (2026-04-06T17:19:29Z)
• MetaClaw: Just Talk -- An Agent That Meta-Learns and Evolves in the Wild [74.7263562191605]
  大規模言語モデル(LLM)エージェントは、複雑なタスクにますます使われている。 既存の方法は、知識を蒸留せずに生の軌跡を保存するか、静的なスキルライブラリを維持するか、または再訓練のために破壊的なダウンタイムを必要とする。 本稿では,基本的なLCMポリシと再利用可能な行動スキルのライブラリを共同で進化させるメタ学習フレームワークであるMetaClawを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T22:30:30Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• GPT Carry-On: Training Foundation Model for Customization Could Be Simple, Scalable and Affordable [1.79487674052027]
  既存の大規模言語基盤モデル(LLM)の利点をフル活用するためのフレームワークを提案する。 予め訓練されたLLMを最終層に埋め込んだ上で,トランスフォーマーブロックの追加ブランチをトレーニングし,その後,キャリーオンモジュールがベースモデルをマージして,カスタマイズされたLLMを構成する。 ベースモデルはパラメータを更新する必要がないため、推論ノード上でトレーニングジョブのほとんどの計算をアウトソースすることが可能です。
  論文  参考訳（メタデータ） (2025-04-10T07:15:40Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation [32.01836613286288]
  この研究は、完全なビナライズされた大規模言語モデル(FBI-LLM)を提示する。 大規模なバイナリ言語モデルをスクラッチからトレーニングする方法を初めて示すものだ。
  論文  参考訳（メタデータ） (2024-07-09T17:59:48Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。