論文の概要: FlashNext-RL: A System Optimization Study for Long-Horizon Agentic RL of Qwen3.8-Flash-Next

• arxiv url: http://arxiv.org/abs/2610.28998v1
• Date: Tue, 20 Oct 2026 23:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.163285
• Title: FlashNext-RL: A System Optimization Study for Long-Horizon Agentic RL of Qwen3.8-Flash-Next
• Title（参考訳）: FlashNext-RL: Qwen3.8-Flash-Nextの長距離エージェントRLのシステム最適化に関する研究
• Abstract要約: ロングホライゾンエージェント強化学習(RL)は、効率的なロールアウト生成と長いシーケンスのトレーニングの両方を必要とする。 本稿では,プライマリルをベースとしたモデル固有のRLトレーニング最適化フレームワークであるFlashNext-RLを紹介し,ソフトウェアエンジニアリング(SWE)のロールアウト生成のためのvLLMを紹介する。 ホストオフロード,勾配蓄積,カーネルの混合処理,スパースアテンション,ゲート残ストリームを最適化する。
• 参考スコア（独自算出の注目度）: 30.056026794900173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon agentic reinforcement learning (RL) requires both efficient rollout generation and training on long sequences. However, the memory requirements and model-specific operators of Qwen3.8-Flash-Next make this difficult with existing open-source implementations. To resolve these limitations, we introduce FlashNext-RL, a model-specific RL training optimization framework based on prime-rl, with vLLM for software engineering (SWE) rollout generation. Our main focus is BF16 training of the full 48-layer model on a single 8xB200 node, with the first two layers, the n-gram table, the sparse-attention indexer and the multi-token prediction head frozen. We optimize host offload, gradient accumulation and the kernels for mixture-of-experts, sparse attention and the gated residual stream. In the full-model development study, non-padding training throughput increases from approximately 395 tokens/s/GPU in the initial 32K-token configuration to 4,438 tokens/s/GPU in the optimized 131K-token configuration, with hardware matmul throughput (aka without considering the cost of attention components) increasing from approximately 20 to 213 TFLOPs/GPU. A controlled cumulative study on an 8-layer model further quantifies the contributions of individual optimizations. Together with three inference nodes, the system supports a live SWE RL run with a target batch of 1,024 trainable rollouts and a 131,072-token context limit. Over steps 5-15, an iteration takes 22.4 minutes on average, with bounded entropy and trainer-sampler mismatch KL. These results highlight the importance of tailoring RL training to the model's architecture, memory layout and kernel requirements, rather than relying only on general-purpose RL infrastructure.
• Abstract（参考訳）: ロングホライゾンエージェント強化学習(RL)は、効率的なロールアウト生成と長いシーケンスのトレーニングの両方を必要とする。 しかし、Qwen3.8-Flash-Nextのメモリ要件とモデル固有の演算子は、既存のオープンソース実装ではこれを困難にしている。 これらの制限を解決するために,プライマリルをベースとしたモデル固有のRLトレーニング最適化フレームワークであるFlashNext-RLと,ソフトウェアエンジニアリング(SWE)のロールアウト生成用vLLMを紹介する。 我々の主な焦点は、1つの8xB200ノード上の48層モデルを完全にトレーニングするBF16であり、最初の2層はn-gramテーブル、スパースアテンションインデクサ、マルチトークン予測ヘッドである。 ホストオフロード,勾配蓄積,カーネルの混合処理,スパースアテンション,ゲート残ストリームを最適化する。 フルモデル開発研究では,初期32Kトークン構成で約395トークン/s/GPUから最適化された131Kトークン構成で4,438トークン/s/GPUへと,非パディングトレーニングスループットが向上した。 制御された8層モデルに関する累積的な研究は、個々の最適化の貢献をさらに定量化する。 3つの推論ノードとともに、システムはターゲットとなる1,024のトレーニング可能なロールアウトと131,072のコンテキスト制限を備えたライブSWE RLをサポートする。 ステップ5-15では、イテレーションは平均で22.4分かかり、エントロピーとトレーナーとサンプラーのミスマッチKLが境界になっている。 これらの結果は、汎用的なRLインフラストラクチャにのみ依存するのではなく、モデルのアーキテクチャ、メモリレイアウト、カーネル要求にRLトレーニングを適合させることの重要性を強調している。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks [3.5732010112106507]
  長期的なツール使用エージェントは、ユーザ目標、ドメインポリシー、ツールコール、シミュレータ状態、検証の遅れといった理由を考慮しなければなりません。 本稿では,マルチコントロールツール利用環境におけるRLのモジュール型トレーニングシステムであるSINKFLEX-RLを提案する。
  論文  参考訳（メタデータ） (2026-08-11T01:30:56Z)
• SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD [91.71050339479261]
  本稿では,Ascend NPU SuperPODにおけるエンドツーエンド最適化手法を提案する。 モデルレベルの並列性、計算通信オーケストレーション、低レベルのカーネル実行にまたがる階層的最適化フレームワークを開発した。 その結果、34.22%のモデルFLOP(Model FLOP)利用が達成され、オープンソースのベースラインレシピよりも2.93倍改善された。
  論文  参考訳（メタデータ） (2026-07-22T13:49:17Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations [32.98036846113632]
  カーネル生成のための強化学習(RL)について検討する。 そこで我々は,不偏利推定を行うために,ターンレベル強化-Leave-One-Out (TRLOO)を提案する。 本稿では、プロファイリングに基づくリワード(PR)とプロファイリングに基づくリジェクションサンプリング(PRS)を導入し、この問題を克服する。
  論文  参考訳（メタデータ） (2026-02-05T17:01:09Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training [32.575669924032276]
  強化学習(RL)は、大規模言語モデル(LLM)の能力向上のための訓練後の最も効果的なアプローチとなっている。 本稿では,LlamaRLについて述べる。LlamaRLは大規模LLMの効率的なトレーニングに最適化された,完全に分散された非同期RLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T22:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。