論文の概要: Towards Optimal Policy Improvement

• arxiv url: http://arxiv.org/abs/2610.01566v1
• Date: Thu, 01 Oct 2026 12:29:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.112586
• Title: Towards Optimal Policy Improvement
• Title（参考訳）: 最適政策改善に向けて
• Abstract要約: 我々は、政策改善を第一原則から研究し、最適な政策改善を、特定の制約の下で単一更新で達成可能な最良の政策を生み出すものとして定義する。 我々は,一連の状態に制限された最適改善が誘導MDPの解決と等価であることを示し,最適政策改善への道筋として,明示的あるいは暗黙的モデルによる計画立案を特徴付ける。
• 参考スコア（独自算出の注目度）: 18.85289682718133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Practical Reinforcement Learning (RL) algorithms learn to solve Markov Decision Processes (MDPs) through iterative policy improvement in the presence of approximate evaluation. We study policy improvement from first principles, defining optimal policy improvement as producing the best policy attainable in a single update under specified constraints. We show that optimal improvement restricted to a set of states is equivalent to solving an induced MDP, characterizing planning with an explicit or implicit model as a path towards optimal policy improvement. Because practical methods commonly solve such induced problems through iterative improvement in the form of greedification, we take steps towards optimal greedification under the central practical constraint of approximate evaluation. We formulate greedification under this constraint as probabilistic decision-making under uncertainty and derive a novel operator that is optimal with respect to the resulting objective. Empirically, the operator and its practical gradient-based approximations improve aggregate performance across GumbelAlphaZero, SAC, ReBRAC and Generalized Policy Iteration, in experiments spanning discrete and continuous actions, model-based and model-free, online and offline RL.
• Abstract（参考訳）: 実効強化学習(RL)アルゴリズムは,近似評価の存在下での反復的政策改善を通じて,マルコフ決定過程(MDP)の解法を学習する。 我々は、政策改善を第一原則から研究し、最適な政策改善を、特定の制約の下で単一更新で達成可能な最良の政策を生み出すものとして定義する。 本研究では, 最適政策改善への道筋として, 明示的, 暗黙的モデルによる計画立案を特徴付ける, 誘導型MDPの解法と, 一連の状態に制限された最適改善が等価であることを示す。 そこで我々は, 近似評価の中心的実践的制約の下で, 最適グリード化へ向け, 反復的改善を施して, 誘導問題の解法が一般的である。 我々は、この制約の下で、不確実性の下で確率的意思決定としてグレード化を定式化し、結果の目的に対して最適な新しい演算子を導出する。 実験的に、GumbelAlphaZero, SAC, ReBRAC, Generalized Policy Iterationをまたいだ、離散的かつ連続的なアクション、モデルベースおよびモデルフリー、オンラインおよびオフラインのRLにまたがる実験において、演算子とその実用的勾配に基づく近似により、集約性能が向上する。

関連論文リスト

• Optimization Solution Functions as Deterministic Policies for Offline Reinforcement Learning [7.07623669995408]
  本稿では,最適化の最適値に対する決定論的ポリシー(アクター)および単調関数として最適化解関数を用いる暗黙的アクター批判(iAC)フレームワークを提案する。 学習ポリシーは指数的減衰感度(EDS)特性を介して学習したアクターパラメータの準最適性に頑健であることを示す。 提案手法を実世界の2つのアプリケーションで検証し, 最先端(SOTA)オフラインRL法よりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2024-08-27T19:04:32Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。