論文の概要: Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling

• arxiv url: http://arxiv.org/abs/2610.14440v1
• Date: Sat, 10 Oct 2026 01:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.049029
• Title: Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
• Title（参考訳）: Target-ESS Tempered Policy Optimization (TETPO):Smooth Variance Control via Bridge Importance Smpling
• Abstract要約: 大規模言語モデルのポストトレーニングは、計算的に効率的だが本質的には非政治である。 少数の軌道が更新を支配し、有効なサンプルサイズが崩壊する可能性がある。 既存の安定剤は、重量集中の重大度にかかわらず固定的な介入を施す。 emphTarget-ESS Policy Optimization (TETPO)を導入します。
• 参考スコア（独自算出の注目度）: 17.616256881382668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous reinforcement-learning post-training of large language models is computationally efficient but inherently off-policy: the learner updates on rollouts generated by a stale policy, while correcting this mismatch requires importance weights that can be extremely heavy-tailed. A small number of trajectories may then dominate an update, collapsing the effective sample size (ESS) and increasing the variance and instability of the resulting gradient estimates. Existing stabilizers apply fixed interventions regardless of the realized severity of weight concentration, either discarding selected samples or reweighting them without adapting the correction strength. We introduce \emph{Target--ESS Tempered Policy Optimization} (TETPO), which replaces each importance weight $ρ$ by $ρ^α$ for a data-adaptive exponent $α\in[0,1]$: $α=1$ preserves the original importance weights, whereas $α=0$ assigns uniform coefficients. For each prompt group, TETPO selects the largest $α$ whose tempered weights satisfy a target ESS fraction $κ$, applying little tempering to healthy groups and stronger tempering when weight degeneracy is severe. At the population level, the tempered coefficients are exact importance weights for a geometric bridge between the sampler and learner policies. The exponent is efficiently found by one-dimensional bisection, while the resulting weights satisfy deterministic bounds on normalized-weight dispersion and weighted-gradient norm that are independent of policy drift, together with a fixed-$α$ bound on bridge-target discrepancy. Power tempering also introduces no explicit zero-weight mask. On mathematical-reasoning benchmarks under high staleness, TETPO outperforms strong on- and off-policy baselines.
• Abstract（参考訳）: 大規模言語モデルの非同期強化学習は、計算的に効率的だが本質的には政治的ではない: 学習者は、古いポリシーによって生成されたロールアウトを更新する一方で、このミスマッチを修正するには、非常に重い重みを必要とする。 少数の軌道が更新を支配し、有効なサンプルサイズ(ESS)を崩壊させ、結果として生じる勾配推定のばらつきと不安定さを増大させる。 既存の安定剤は、重量集中の重大度によらず一定の介入を施し、選択された試料を廃棄するか、補正強度に適応せずに再加重する。 データ適応型指数 $α\in[0,1]$:$α=1$ は元の重みを保存するが、$α=0$ は均一係数を割り当てる。 各プロンプト群に対して、TETPOは、標的のESS分画を満足する最も大きいα$を選択し、健康なグループにほとんど誘引を施さず、重量縮退が深刻である場合にはより強い誘引を施す。 人口レベルでは、係留係数はサンプルと学習者ポリシーの間の幾何学的ブリッジの正確な重みである。 指数は1次元の断面によって効率よく見出され、結果として得られる重みは、規則のドリフトとは無関係な正規化重み分散と重み付き勾配ノルムに決定論的境界を満たす。 パワー・テンパリングは明示的なゼロウェイトマスクも導入しない。 高安定性の数学的推論ベンチマークでは、TETPOはオン・アンド・オフ・ポリティクスのベースラインよりも優れている。

関連論文リスト

• Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
  REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-10-02T11:43:52Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Holder Policy Optimisation [26.521180498291717]
  textbfHlderPOは、一般的なポリシー最適化フレームワークである。 トークンレベルの確率アグリゲーションをHlder平均を介して統一する。 複数の数学ベンチマークにおいて、最先端の平均精度は54.9%である。
  論文  参考訳（メタデータ） (2026-05-12T12:45:03Z)
• Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent [28.166458412533967]
  本稿では,提案手法が固定参照KLVRと等しい基準サンプリング重み付きSFT目標について述べる。 単発Qwen実験は、目標整合重量、一発飽和、リフレッシュサンプラーゲイン、最適化時間の節約の予測証拠を提供する。
  論文  参考訳（メタデータ） (2026-05-04T11:10:32Z)
• VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training [18.849117699859622]
  訓練安定性は、大規模言語モデルの強化学習における中心的な課題である。 変動周波数レベルのソフトポリシー最適化(VESPO)を提案する。 数学的推論ベンチマークの実験では、VESPOは安定なトレーニングを64倍の安定度と完全な非同期実行で維持している。
  論文  参考訳（メタデータ） (2026-02-11T09:48:08Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。