論文の概要: Structure-Aware Numerical Stabilization for Half-Precision Proximal Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.13306v1
• Date: Fri, 09 Oct 2026 09:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.512387
• Title: Structure-Aware Numerical Stabilization for Half-Precision Proximal Policy Optimization
• Title（参考訳）: 半精度近似最適化のための構造を考慮した数値安定化
• Abstract要約: 本稿では,コモディティGPU上での半精度ポリシ最適化(PPO)の数値安定性と計算効率について検討する。 3つの構造制御モジュールを持つPPO-FP16を提案する。 構造的に重要な量の小さな集合を保護することで, 安定かつ効率的なFP16 PPOを, 再調整することなく実現できることを示す。
• 参考スコア（独自算出の注目度）: 5.185584621338163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local online training on resource-constrained platforms requires low computational and training-state overhead. We study the numerical stability and computational efficiency of half-precision proximal policy optimization (PPO) on commodity GPUs. Directly converting PPO training to FP16 is unreliable because numerical errors feed back through policy updates and subsequent data collection, while PPO repeatedly compares a current policy with a fixed behavior policy. We propose PPO-FP16 with three structure-aware modules. Global scalar protection stabilizes statistics shared across a minibatch or parameter update. Policy-change residual protection extracts and preserves small differences between the current and behavior policies. Efficient persistent-update protection stabilizes optimizer state and parameter writeback while reducing state storage. These changes preserve the PPO objective, hyperparameters, and training budget. Across six continuous-control tasks and five seeds, PPO-FP16 achieves the lowest mean return-AUC rank (1.90) among the four methods and ranks first in 17 of 30 environment-seed comparisons. Eight of nine performance configurations yield PPO update speedups ranging from 1.16 to 2.03 times. Relative to Full FP32 Adam, optimizer-state memory is reduced by 71.7 to 74.9 percent, and peak allocated GPU memory is reduced by up to 44.5 percent. The results show that protecting a small set of structurally important quantities can deliver stable, efficient FP16 PPO without retuning.
• Abstract（参考訳）: リソース制約のあるプラットフォーム上でのローカルオンライントレーニングは、低い計算量とトレーニング状態のオーバーヘッドを必要とする。 本稿では,コモディティGPU上での半精度近似ポリシー最適化(PPO)の数値安定性と計算効率について検討する。 PPOトレーニングをFP16へ直接変換することは、数値誤差がポリシー更新やその後のデータ収集を通じてフィードバックされるのに対して、PPOは現在のポリシーと固定行動ポリシーを繰り返し比較するため、信頼できない。 3つの構造認識モジュールを持つPPO-FP16を提案する。 グローバルスカラー保護は、ミニバッチまたはパラメータ更新間で共有される統計を安定化する。 政策変更残留保護は、現在の政策と行動方針の小さな違いを抽出し、保存する。 効率的な永続更新保護は、状態ストレージを削減しつつ、オプティマイザ状態とパラメータの書き込みを安定化する。 これらの変更は、PPOの目標、ハイパーパラメータ、トレーニング予算を保持します。 6つの連続制御タスクと5つの種子のうち、PPO-FP16は4つの方法のうち最も低い平均回帰AUCランク(1.90)を達成し、環境条件の比較では17位である。 9つのパフォーマンス構成のうち8つは、PPOの更新速度を1.16倍から2.03倍に向上させる。 フルFP32Adamと比較して、オプティマイザ状態のメモリは71.7から74.9%削減され、ピーク割り当てのGPUメモリは最大44.5パーセント削減された。 その結果, 構造的に重要な量の小さな集合を保護すれば, 再調整することなく, 安定かつ効率的なFP16 PPOが得られることがわかった。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning [45.51804571136028]
  強化学習(RL)は、大規模言語モデル(LLM)における推論の強化の中心となっている。 Slow-Fast Policy Optimization (SFPO)は,各ステップを3段階に分解することで,これらの制限に対処する,シンプルかつ効率的なフレームワークである。 SFPOは安定性を継続的に改善し、ロールアウトを低減し、推論RLトレーニングの収束を加速する。
  論文  参考訳（メタデータ） (2025-10-05T07:22:54Z)
• It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL [1.9507810024568648]
  PPOやGRPOのような強化学習(RL)手法を用いた大規模言語モデル(LLM)の訓練は、更新の安定化に比例する。 重要度を計算する前に、従来の(行動)政策に対する現在の政策の確率を円滑にするPSPOを提案する。 GR-PSPOはクリップされたGRPOと比較して0.5Bと1.5Bの両方のパフォーマンスを大幅に改善し、GSM8Kでは20%以上向上した。
  論文  参考訳（メタデータ） (2025-09-25T15:03:18Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization [0.0]
  PPO-BRは、新しい探索と収束信号を単一の信頼領域に融合することで、パラダイム適応RLを確立する。 この研究は、位相認識学習における重要なギャップを埋め、ロボット手術のような安全クリティカルなシステムへの現実世界の展開を可能にする。
  論文  参考訳（メタデータ） (2025-05-23T10:30:58Z)
• Proximal Policy Optimization with Relative Pearson Divergence [8.071506311915396]
  PPOは、最新ポリシーとベースラインポリシーの密度比を閾値でクリップするが、最小化ターゲットは不明確である。 本稿では、相対ピアソン分散(RPE)の正規化問題(いわゆるPPO-RPE)を考慮し、PPOの新しい変種を提案する。 4つのベンチマークタスクを通じて,PPO-RPEは学習方針によるタスク性能の点で従来の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-10-07T09:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。