論文の概要: Best Policy Tracking in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.34501v1
• Date: Sun, 25 Oct 2026 18:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.626247
• Title: Best Policy Tracking in Reinforcement Learning
• Title（参考訳）: 強化学習における政策追跡
• Abstract要約: 強化学習はシングルタスク設定で非単調なパフォーマンスダイナミクスを示す。 標準的な実験は、通常、訪問した最後の政策か、定期的に評価された政策の中で最高の政策を報告します。 性能劣化を特徴付けるためのポストホック診断指標を導入し、異なる選択基準の精度と効率を評価する。
• 参考スコア（独自算出の注目度）: 6.778082328635129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning commonly exhibits non-monotonic performance dynamics in single-task settings. During learning, a sequence of policies is generated whose true performance is unknown and may oscillate significantly across iterations. Despite this well-known phenomenon, standard experimental practice typically reports either the final visited policy or the best among periodically evaluated ones, implicitly assuming that these selection criteria reliably approximate the best-performing policy visited throughout the entire sequence. In this work, we present an empirical study on the implications of non-monotonicity for policy selection in single-task policy-based reinforcement learning. We introduce post-hoc diagnostic metrics to characterize performance degradation and assess the accuracy and efficiency of different selection criteria. These metrics allow us to evaluate commonly used selection strategies across standard continuous-control benchmarks using a well-established on-policy actor-critic method. Our results show that, in this representative experimental setting, widely adopted selection practices can deviate considerably from the best policy encountered during learning, leading to underperforming estimates and suboptimal use of computational resources. As an alternative, we recommend a validation-based policy selection strategy constrained by computational cost, which provides a more consistent and accurate approximation of the best visited policy while improving selection efficiency. Overall, our findings highlight policy selection as an underexplored factor in the evaluation protocols of reinforcement learning and motivate further study on explicit and standardized validation-based selection procedures.
• Abstract（参考訳）: 強化学習は、シングルタスク設定において、通常、非単調なパフォーマンスのダイナミクスを示す。 学習中、真のパフォーマンスが不明なポリシーのシーケンスが生成され、イテレーション間で大きく振動する可能性がある。 このよく知られた現象にもかかわらず、標準的な実験慣行は、通常、最終訪問政策か定期的に評価された政策の中で最高のもののいずれかを報告し、これらの選択基準は、シーケンス全体を通して訪れた最良のパフォーマンスポリシーを確実に近似すると暗黙的に仮定する。 本研究では, シングルタスク政策に基づく強化学習において, 非単調性が政策選択に与える影響について実証的研究を行った。 性能劣化を特徴付けるためのポストホック診断指標を導入し、異なる選択基準の精度と効率を評価する。 これらのメトリクスは、よく確立されたアクター批判的手法を用いて、標準的な連続制御ベンチマーク間でよく使われる選択戦略を評価することができる。 この代表的な実験環境では、学習中に遭遇する最良の政策から、広く採用されている選択の実践がかなり逸脱し、計算資源の過小評価や準最適利用につながることが示されている。 代替として、計算コストに制約されたバリデーションベースのポリシー選択戦略を推奨する。 本研究は、政策選択を強化学習の評価プロトコルの過小評価要因として強調し、明確かつ標準化された検証ベース選択手順のさらなる研究を動機付けている。

関連論文リスト

• Logarithmic Smoothing for Pessimistic Off-Policy Evaluation, Selection and Learning [7.085987593010675]
  本研究は,文脈的包帯問題のオフライン定式化について検討する。 目標は、行動ポリシーの下で収集された過去のインタラクションを活用して、新しい、より優れたパフォーマンスのポリシーを評価し、選択し、学習することである。 重要度重み付けリスク推定器の幅広いクラスに対して,新しい完全経験的濃度境界を導入する。
  論文  参考訳（メタデータ） (2024-05-23T09:07:27Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Adaptive Estimator Selection for Off-Policy Evaluation [48.66170976187225]
  オフポリシー評価設定における推定器選択のための汎用的データ駆動手法を開発した。 また,本手法の性能保証を確立し,オラクル推定器と競合することを示す。
  論文  参考訳（メタデータ） (2020-02-18T16:57:42Z)
• Reward-Conditioned Policies [100.64167842905069]
  模倣学習には、ほぼ最適の専門家データが必要である。 実演なしで指導的学習を通じて効果的な政策を学べるか? 政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。