論文の概要: Ascent Conditions for Length-Normalized Single-Rollout Policy Updates
- arxiv url: http://arxiv.org/abs/2610.14670v1
- Date: Sat, 10 Oct 2026 07:33:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:22:39.944791
- Title: Ascent Conditions for Length-Normalized Single-Rollout Policy Updates
- Title（参考訳）: 長長Normalized Single-Rollout Policy Updateの上昇条件
- Abstract要約: 各トラジェクトリのスコアコントリビューションを実際の長さで分割することで、報酬中心のポリシー更新の方向を変えることができる。
3階のU統計は、独立な現在の統計軌跡に偏らない1階の回帰変化を推定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dividing each trajectory's score contribution by its realized length can change the direction of a reward-centered policy update. In a finite trajectory model, we derive an exact ascent threshold for a three-outcome softmax policy and exhibit a binary-reward example in which the expected Euclidean update decreases task success. Natural-gradient ascent holds for fully controllable outcome distributions with deterministic binary labels, but can fail under a one-parameter restriction. A third-order U-statistic estimates the first-order return change without bias from independent current-policy trajectories, one per request. In the example, a same-sample plug-in estimator instead has the opposite sign in expectation for batch sizes two through forty-nine. Exact policy-grid enumeration confirms the local sign reversal. In a branching process, length-normalized learning initially loses return, then recovers and exceeds the unnormalized comparator. The analysis concerns the expected update field at the current policy.
- Abstract（参考訳）: 各トラジェクトリのスコアコントリビューションを実際の長さで分割することで、報酬中心のポリシー更新の方向を変えることができる。
有限軌跡モデルでは、3次ソフトマックスポリシーの正確な上昇しきい値を導出し、期待されるユークリッド更新がタスク成功を減少させる二項回帰例を示す。
自然段階の上昇は、決定論的二項ラベルで完全に制御可能な結果分布を保っているが、1パラメータ制限で失敗することがある。
3階のU統計では、一階のリターン変更は、要求毎に独立した現行のトラジェクトリから偏りなく見積もっている。
例では、同じサンプルのプラグイン推定器は、バッチサイズが2つから4つになることを期待して、反対のサインを持っている。
厳密なポリシーグリッド列挙は、局所的な符号逆転を確認する。
分岐過程において、長さ正規化学習は、最初は戻りを失い、その後回復し、非正規化コンパレータを超える。
この分析は、現在のポリシーで期待される更新フィールドに関するものである。
関連論文リスト
- OPTS-TTPO: Enhancing Finite-Sample Policy-Gradient Learning with Tree Search [18.059989803562807]
木探索が一定の予算内で網羅性を向上させるかどうかを検討した。
On-Policy Parallel Tree Search (OPTS) と Tree Trajectory Policy Optimization (TTPO) を導入する。
TTPOは、訪れた州で現在の政策から新しい接尾辞をサンプリングするオンラインツリートラジェクトリを使用している。
論文 参考訳（メタデータ） (2026-09-30T16:06:51Z) - Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳（メタデータ） (2026-09-30T12:41:43Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - When Do Surrogate Updates Improve Decisions? A Local Theory of Trajectory-Wise Transfer [0.0]
トラジェクトリトレーニングの一段階が、人口のサロゲート損失と意思決定リスクの両方を減らし、移行が繰り返し更新に沿ってどのように蓄積されるのかを問う。
制御されたグリッドワールドとLLMポストトレーニング実験は、我々の予測と一致した結果をもたらす。
論文 参考訳（メタデータ） (2026-08-02T10:12:42Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。
LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
論文 参考訳（メタデータ） (2025-10-28T11:12:02Z) - Universal Off-Policy Evaluation [64.02853483874334]
ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す
我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
論文 参考訳（メタデータ） (2021-04-26T18:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。