論文の概要: A Prospect-Theoretic Policy Gradient Algorithm for Behavioral Alignment in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.02605v2
• Date: Wed, 26 Feb 2025 20:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:54:41.263672
• Title: A Prospect-Theoretic Policy Gradient Algorithm for Behavioral Alignment in Reinforcement Learning
• Title（参考訳）: 強化学習における行動アライメントのための確率論的ポリシー勾配アルゴリズム
• Authors: Olivier Lepel, Anas Barakat,
• Abstract要約: 累積プロスペクト理論(CPT)は、人間に基づく意思決定のためのよりニュアンスなモデルを提供する。 CPTは、リスク、利益、損失に対する様々な態度と認識を捉えます。 我々はCPT-RLフレームワークを再考し、最適政策の性質に関する新たな理論的洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.46040036610482665
• License:
• Abstract: Classical reinforcement learning (RL) typically assumes rational decision-making based on expected utility theory. However, this model has been shown to be empirically inconsistent with actual human preferences, as evidenced in psychology and behavioral economics. Cumulative Prospect Theory (CPT) provides a more nuanced model for human-based decision-making, capturing diverse attitudes and perceptions toward risk, gains, and losses. While prior work has integrated CPT with RL to solve a CPT policy optimization problem, the understanding and practical impact of this formulation remain limited. We revisit the CPT-RL framework, offering new theoretical insights into the nature of optimal policies. We further derive a novel policy gradient theorem for CPT objectives, generalizing the foundational result in standard RL. Building on this theorem, we design a model-free policy gradient algorithm for solving the CPT-RL problem and demonstrate its performance through simulations. Notably, our algorithm scales better to larger state spaces compared to existing zeroth-order methods. This work advances the integration of behavioral decision-making into RL.
• Abstract（参考訳）: 古典的強化学習(RL)は通常、期待されるユーティリティ理論に基づいて合理的な意思決定を仮定する。 しかしながら、このモデルは、心理学や行動経済学において証明されているように、実際の人間の嗜好と経験的に矛盾していることが示されている。 累積プロスペクト理論(CPT)は、リスク、利得、損失に対する多様な態度と認識を捉え、人間に基づく意思決定のためのよりニュアンスなモデルを提供する。 従来の研究はCPTとRLを統合してCPTポリシー最適化の問題を解決するが、この定式化の理解と実践的影響は限定的である。 我々はCPT-RLフレームワークを再考し、最適政策の性質に関する新たな理論的洞察を提供する。 さらに、CPT目的に対する新しいポリシー勾配定理を導出し、標準RLの基本的な結果を一般化する。 この定理に基づいて,CPT-RL問題を解くためのモデルフリーポリシー勾配アルゴリズムを設計し,シミュレーションによりその性能を実証する。 特に,本アルゴリズムは,既存のゼロ階法と比較して,より大きな状態空間に拡張可能である。 この研究は、行動決定のRLへの統合を促進する。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL [23.957148537567146]
  本稿では,オンラインRLのための最適化NPGという,シンプルな効率的なポリシー最適化フレームワークを提案する。 $d$次元線形 MDP の場合、Optimistic NPG は計算効率が良く、$tildeO(d2/varepsilon3)$サンプル内で $varepsilon$-Optimal Policy を学ぶ。
  論文  参考訳（メタデータ） (2023-05-18T15:19:26Z)
• Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
  本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。 既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。 我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
  論文  参考訳（メタデータ） (2022-12-19T22:43:08Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Hinge Policy Optimization: Rethinking Policy Improvement and Reinterpreting PPO [6.33198867705718]
  政策最適化は強化学習アルゴリズムを設計するための基本原理である。 優れた経験的性能にもかかわらず、PPO-clipは今まで理論的な証明によって正当化されていない。 PPO-クリップの変種に対する最適ポリシーへの大域収束を証明できるのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-26T15:56:57Z)
• Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm [16.115903198836694]
  既存のデータから最適な行動を学ぶことは、強化学習(RL)における最も重要な問題の1つである。 エージェントの目的は、与えられたポリシー(行動ポリシーとして知られる)から得られたデータに基づいて最適なポリシーを計算することである。 本研究は,非政治行動と自然政策勾配を扱うために状態-行動分布補正を利用する,非政治的自然なアクター-批判的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T14:36:45Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)
• Variational Policy Gradient Method for Reinforcement Learning with General Utilities [38.54243339632217]
  近年,累積報酬の合計を超える総合目標を持つ強化学習システムが注目を集めている。 本稿では,一般的な凹凸ユーティリティ関数を対象とする決定問題におけるポリシーについて考察する。 汎用性を持つRLの新しい変分ポリシー勾配定理を導出する。
  論文  参考訳（メタデータ） (2020-07-04T17:51:53Z)
• Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO [90.90009491366273]
  本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。 具体的には,「コードレベルの最適化」の結果について検討する。 以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
  論文  参考訳（メタデータ） (2020-05-25T16:24:59Z)
• Population-Guided Parallel Policy Search for Reinforcement Learning [17.360163137926]
  都市外強化学習(RL)の性能向上を図るために,新たな人口誘導型並列学習手法を提案する。 提案手法では,複数の同一学習者が独自の値関数とポリシーを共用し,共通体験再生バッファを共有し,最良のポリシー情報のガイダンスと協調して適切なポリシーを探索する。
  論文  参考訳（メタデータ） (2020-01-09T10:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。