Fugu-MT 論文翻訳(概要): Nereus: Adaptive Parallelism for LLM Post-Training

論文の概要: Nereus: Adaptive Parallelism for LLM Post-Training

arxiv url: http://arxiv.org/abs/2609.34645v1
Date: Mon, 28 Sep 2026 08:55:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 11:37:05.128865
Title: Nereus: Adaptive Parallelism for LLM Post-Training
Title（参考訳）: Nereus: LLMポストトライニングのための適応的並列性
Abstract要約: Nereusは、RLポストトレーニングジョブを効率的な実行計画に適応させる、コスト対応ランタイムである。 DPスケーリングによって、最初の固定TP/PPレイアウトと比較して平均ステップレイテンシを27.7%削減する。エンドツーエンドの8B PPOスループットを2.14--7.27$times$ over OpenRLHFと1.10--1.47$times$ over Verlで改善する。
参考スコア（独自算出の注目度）: 7.105346413089921
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) post-training for large language models (LLMs) coordinates multiple models across generation, inference, and training on GPU clusters. Several factors may change during a run, including resource availability, sequence length, memory pressure, and stage bottlenecks. As a consequence, an execution plan that was initially suitable can then become slow or even infeasible over time. However, adapting a job whose models share GPUs entails significant challenges: deciding whether a new plan is worth the transition cost, reusing the job's distributed state, and coordinating GPU transfers across models and stages. Nereus targets these challenges as a cost-aware runtime that adapts RL post-training jobs into efficient execution plans. Its low-overhead controller selects a memory-feasible global plan and admits the transition using a cost model calibrated against the running job. To estimate and execute a transition, Nereus represents the distributed state of each replica of a model-stage (one model in one stage) as an Elastic Model Unit. It then employs a global transition graph to order the transformations and GPU transfers of these units. In a trace built from real data, online TP/PP adaptation reduces average step latency by 27.7% relative to the initial fixed TP/PP layout with DP scaling. In a 1,000-step run reaching 1,024 GPUs, six transitions consume 0.079% of total run time. Nereus improves end-to-end 8B PPO throughput by 2.14--7.27$\times$ over OpenRLHF and by 1.10--1.47$\times$ over Verl across diverse clusters.
Abstract（参考訳）: 大規模言語モデル(LLM)のための強化学習(RL)後トレーニングは、生成、推論、GPUクラスタでのトレーニングなど、複数のモデルをコーディネートする。実行中に、リソースの可用性、シーケンスの長さ、メモリ圧力、ステージボトルネックなど、いくつかの要因が変更される可能性がある。その結果、当初適していた実行計画は、時間が経つにつれて遅くなるか、あるいは不可能になる可能性がある。しかし、モデルがGPUを共有するジョブを適用するには、新たな計画が移行コストに価値があるかどうか、ジョブの分散状態の再利用、モデルとステージ間のGPU転送の調整など、大きな課題が伴う。 Nereusはこれらの課題を、RLポストトレーニングジョブを効率的な実行計画に適応させる、コスト対応ランタイムとしてターゲットとしている。その低オーバーヘッドコントローラは、メモリ実現可能なグローバルプランを選択し、ランニングジョブに対して調整されたコストモデルを使用して遷移を許可する。トランジションを推定し実行するために、Nereusは、モデルステージ(1ステージに1つのモデル)の各レプリカの分散状態をElastic Model Unitとして表現する。次にグローバル移行グラフを使用して、これらのユニットの変換とGPU転送を順序付けする。実際のデータから構築されたトレースでは、オンラインTP/PP適応により、DPスケーリングによる初期固定TP/PPレイアウトと比較して平均ステップレイテンシが27.7%削減される。 1000ステップで1,024GPUに達すると、6つのトランジションが総実行時間の0.079%を消費する。 Nereusはエンドツーエンドの8B PPOスループットを2.14--7.27$\times$ over OpenRLHFと1.10--1.47$\times$ over Verlで改善した。

関連論文リスト

REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Tula: Optimizing Time, Cost, and Generalization in Distributed Large-Batch Training [2.19670601855638]
Tulaは、畳み込みモデルの大規模なトレーニングのために、時間、コスト、収束品質を自動的に最適化するオンラインサービスである。 Tulaは、複数のモデルで7.5-14%のエラーでトレーニング時間とコストを予測し、全体の20倍のスピードアップを達成する。
論文参考訳（メタデータ） (2026-03-18T13:56:32Z)
AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs [24.96730768606278]
異種対応非同期RLトレーニングシステムであるAReaL-Hexを提案する。ヘテロジニアスGPU上でロールアウト生成とポリシモデルのトレーニングを実行する方法を、効果的にスケジュールする。最大1.50倍のトレーニングスループットと1.46倍のトレーニングコストの削減を提供する。
論文参考訳（メタデータ） (2025-11-02T04:17:30Z)
POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
論文参考訳（メタデータ） (2025-10-08T04:20:11Z)
OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
論文参考訳（メタデータ） (2025-08-11T20:07:34Z)
DataStates-LLM: Lazy Asynchronous Checkpointing for Large Language Models [3.3484462092188005]
モデルと状態シャードを構成するテンソルが、長期間にわたって不変であるという事実を生かして、遅延非同期マルチレベルアプローチを導入する。その結果、48$times$より高速なチェックポイントと2.2$times$より高速なエンドツーエンドトレーニングを実現した。
論文参考訳（メタデータ） (2024-06-15T18:30:40Z)
Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
論文参考訳（メタデータ） (2024-05-28T11:59:44Z)
mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs [5.735411578779657]
Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法で、ベースLSMを複数の下流タスクに適応させるのに使われる。 LoRAプラットフォームにより、開発者は複数のモデルを微調整し、さまざまなドメイン固有のアプリケーションを同時に開発できる。既存のモデル並列化スキームは、複数のLoRAタスクをトレーニングする際に、高い通信オーバーヘッドと非効率なGPU利用に悩まされる。
論文参考訳（メタデータ） (2023-12-05T05:38:38Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
論文参考訳（メタデータ） (2021-10-13T20:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。