論文の概要: Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
- arxiv url: http://arxiv.org/abs/2610.04638v1
- Date: Sat, 03 Oct 2026 16:29:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 18:11:36.384421
- Title: Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
- Title（参考訳）: データとしてのポリシー: アドバンテージレグレッションによるリプレイベースのポリシーの2つの平均化
- Abstract要約: この研究は、Regularized Dual Averaging Actor Critic (RDA2C)を導入し、リプレイに異なる役割を割り当てている。
RDA2Cは、状態アクションサンプルを批評家が推定した有利なラベルで保存し、二重スコアモデル$Z_$を集計データセットに適合させ、蓄積されたスコアモデルから現在のポリシーを導出する。
RDA2Cを解析するために、有限時間値ギャップ分解を確立し、スタイル・リプレイによる教師付きフィッティング、批判バイアス、有限バッファ分散、リプレイカバレッジによるエラーから正規化された2値ギャップ項を分離する。
- 参考スコア（独自算出の注目度）: 14.280630019628553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Actor-critic methods reuse past experience to improve sample efficiency. However, historical data are typically regarded as off-policy samples for the current policy-improvement update. This work introduces Regularized Dual Averaging Actor Critic (RDA2C), which assigns a distinct role to replay. In regularized dual averaging, the subsequent policy is determined by accumulated policy-improvement feedback, so historical advantage estimates contribute directly to the actor objective rather than solely to the most recent update. RDA2C stores state-action samples with critic-estimated advantage labels, fits a dual score model $Z_θ$ to the aggregated dataset, and derives the current policy from the accumulated score model using the entropy mirror map. In this way, replay defines an empirical dual objective from which the policy is computed. To analyze RDA2C, we establish a finite-time value-gap decomposition, separating the regularized dual-averaging term from errors due to stale-replay supervised fitting, critic bias, finite-buffer variance, and replay coverage, and stating the assumptions under which each error is bounded. RDA2C accepts advantage labels from any critic. With GAE labels, RDA2C outperforms PPO on six of eight MuJoCo tasks and eight of twelve Atari games. RDA2C also outperforms AAPDA, the closest dual-averaging baseline, on six of eight MuJoCo tasks. With twin-$Q$ labels, RDA2C matches SAC at matched batch size and update frequency.
- Abstract（参考訳）: アクタークリティカルな手法は過去の経験を再利用してサンプル効率を向上させる。
しかし、歴史的データは、通常、現在の政策改善更新の非政治的なサンプルと見なされる。
この研究は、Regularized Dual Averaging Actor Critic (RDA2C)を導入し、リプレイに異なる役割を割り当てている。
正規化された二重平均化では、後続のポリシーは、蓄積されたポリシー改善フィードバックによって決定されるため、履歴上の利点推定は、最新の更新にのみ貢献するのではなく、アクターの目的に直接貢献する。
RDA2Cは、状態-作用サンプルを批評家が推定した有利なラベルで保存し、二重スコアモデル$Z_θ$を集約されたデータセットに適合させ、エントロピーミラーマップを用いて蓄積されたスコアモデルから現在のポリシーを導出する。
このように、リプレイはポリシーが計算される経験的な二重目的を定義する。
RDA2Cを解析するために、有限時間値ギャップ分解を確立し、スタル・リプレイの監督されたフィッティング、批判バイアス、有限バッファ分散、リプレイカバレッジによるエラーから正規化された2値ギャップ項を分離し、各エラーが有界な仮定を記述する。
RDA2Cはあらゆる批評家から有利なラベルを受け入れている。
GAEレーベルでは、RDA2Cは8つのMuJoCoタスクのうち6つと12のAtariゲームのうち8つでPPOを上回っている。
RDA2C は8つの MuJoCo タスクのうち6つで AAPDA よりも優れています。
ツイン$Q$ラベルでは、RDA2Cはバッチサイズと更新頻度でSACにマッチする。
関連論文リスト
- Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT [3.293184808542474]
エージェント型大規模言語モデルに対する批判のない強化微調整(RFT)は、GRPOスタイルの手法によって行われることが多い。
批判のないポリシー学習アルゴリズムであるtextitFollow the Winners (FTW) を提案する。
FTWは、グループロールアウトをリプレイバッファサンプルの順序付きフィルタに置き換え、リターンの順序統計で濃度を得る。
論文 参考訳（メタデータ） (2026-10-02T14:24:06Z) - Reusing Past Samples in Proximal Policy Optimization: When and How Does It Help? [73.85707391058558]
複数の重み付けフレームワーク内で2つの変種をインスタンス化することにより、PPOにおけるサンプル再利用の有効性について検討する。
我々は、それぞれの損失に対する理論的根拠を提供する、政策改善の低い境界を導出する。
論文 参考訳（メタデータ） (2026-10-01T10:05:35Z) - Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳（メタデータ） (2026-09-30T12:41:43Z) - Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition [0.0]
目的の曲率情報をフル活用したアクター更新の2次近似を解析する。
本研究では,この近似が2段階のアクター批判的枠組みの下で適切に修正されることを示す。
この知見に基づいて、割引報酬設定のための2次アクター批判法を定式化する。
論文 参考訳（メタデータ） (2026-05-14T15:46:27Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Adaptive TD-Lambda for Cooperative Multi-agent Reinforcement Learning [28.30054999007724]
いくつかの最近の研究は、適応的な$$値と、単一エージェント強化学習領域のポリシー分布を関連付けている。
複数のエージェントからの大規模な共同行動空間と、マルチエージェント強化学習における限られた遷移データにより、政策分布を統計的に計算することは不可能である。
統計的に計算する代わりに、2つのリプレイバッファを持つパラメトリック確率自由密度比推定器を用いる。
論文 参考訳（メタデータ） (2026-05-12T09:56:24Z) - Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning [52.97053840476386]
我々は、よく設計された行動ポリシーを用いて、分散リターン推定を確実に低くするために、政治外のデータを収集できることを示します。
我々は、この重要な洞察を、政策評価と改善の両方がインターリーブされるオンライン強化学習環境に拡張する。
論文 参考訳（メタデータ） (2025-11-13T23:06:40Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳（メタデータ） (2023-10-24T01:00:01Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。