論文の概要: Stochastic Bilevel Optimization with Lower-Level Contextual Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2406.01575v1
• Date: Mon, 3 Jun 2024 17:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-05 21:41:25.455706
• Title: Stochastic Bilevel Optimization with Lower-Level Contextual Markov Decision Processes
• Title（参考訳）: 低レベルマルコフ決定過程を用いた確率的二値最適化
• Authors: Vinzenz Thoma, Barna Pasztor, Andreas Krause, Giorgia Ramponi, Yifan Hu,
• Abstract要約: 本稿では,2段階決定モデルである文脈マルコフ決定プロセス(BO-CMDP)を用いた二段階最適化を提案する。 BO-CMDP は Stackelberg Game と見ることができ、リーダーとリーダーのコントロールを超えたランダムなコンテキストが(多く) MDP のセットアップを決定する。 本稿では,BO-CMDP の解法として Hyper Policy Descent (HPGD) アルゴリズムを提案し,その収束性を示す。
• 参考スコア（独自算出の注目度）: 42.22085862132403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In various applications, the optimal policy in a strategic decision-making problem depends both on the environmental configuration and exogenous events. For these settings, we introduce Bilevel Optimization with Contextual Markov Decision Processes (BO-CMDP), a stochastic bilevel decision-making model, where the lower level consists of solving a contextual Markov Decision Process (CMDP). BO-CMDP can be viewed as a Stackelberg Game where the leader and a random context beyond the leader's control together decide the setup of (many) MDPs that (potentially multiple) followers best respond to. This framework extends beyond traditional bilevel optimization and finds relevance in diverse fields such as model design for MDPs, tax design, reward shaping and dynamic mechanism design. We propose a stochastic Hyper Policy Gradient Descent (HPGD) algorithm to solve BO-CMDP, and demonstrate its convergence. Notably, HPGD only utilizes observations of the followers' trajectories. Therefore, it allows followers to use any training procedure and the leader to be agnostic of the specific algorithm used, which aligns with various real-world scenarios. We further consider the setting when the leader can influence the training of followers and propose an accelerated algorithm. We empirically demonstrate the performance of our algorithm.
• Abstract（参考訳）: 様々な応用において、戦略的意思決定問題における最適政策は、環境構成と外因性事象の両方に依存する。 これらの設定に対して、文脈マルコフ決定プロセス(BO-CMDP)を用いた二段階最適化(BO-CMDP)を導入する。 BO-CMDPは、リーダーとリーダーのコントロールを超えたランダムなコンテキストが、(潜在的に複数の)フォロワーが最も反応する(多くの)MDPのセットアップを決定する、スタックルバーグゲームと見なすことができる。 このフレームワークは、従来の二段階最適化を超えて、MDPのモデル設計、税制設計、報酬形成、動的メカニズム設計など、さまざまな分野に関連性を見出す。 本稿では,BO-CMDPを解くための確率的ハイパーポリシーグラディエントDescent (HPGD)アルゴリズムを提案し,その収束性を実証する。 特にHPGDは、フォロワーの軌跡の観察のみを利用する。 そのため、フォロワーは任意のトレーニング手順を使用でき、リーダーはさまざまな現実世界のシナリオに合わせて使用する特定のアルゴリズムを知らない。 さらに,リーダがフォロワーのトレーニングに影響を及ぼすような設定も検討し,高速化されたアルゴリズムを提案する。 アルゴリズムの性能を実証的に示す。

関連論文リスト

• Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes [7.028778922533688]
  平均回帰マルコフ決定プロセス(MDPs)は、不確実性の下でのシーケンシャルな意思決定の基盤となる枠組みを提供する。 本稿では,Reward-Extended Differential(RED)強化学習について紹介する。Reward-Extended Differential(RED)強化学習は,様々な学習目的,すなわちサブタスクを,平均リワード設定で同時に効果的かつ効率的に解ける新しいRLフレームワークである。
  論文  参考訳（メタデータ） (2024-10-14T14:52:23Z)
• Balancing Optimality and Diversity: Human-Centered Decision Making through Generative Curation [6.980546503227467]
  本稿では,量的・質的両面を統合することにより,決定オプションの真の望ましさを最適化する生成キュレーションという新しい枠組みを導入する。 提案手法は,多種多様な準最適動作を効率的にサンプリングするための分配$pi$を生成する生成ニューラルネットワークアーキテクチャと,反復的に解を生成する逐次最適化手法である。 提案手法を広範囲なデータセットで検証し,複雑な環境にまたがる意思決定プロセスの強化の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-17T20:13:32Z)
• Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning [0.0]
  我々は,非累積マルコフ決定過程を標準MDPに一般化したマッピングを導入する。 これにより、MDPがより大規模なNCMDPに直接適用されるための最適なポリシーを見つけるために開発されたすべての技術が利用可能となる。 我々は、古典的な制御、金融におけるポートフォリオ最適化、離散最適化問題など、様々なタスクのアプリケーションを示す。
  論文  参考訳（メタデータ） (2024-05-22T13:01:37Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• Risk-sensitive Markov Decision Process and Learning under General Utility Functions [3.069335774032178]
  強化学習(Reinforcement Learning, RL)は、様々な応用分野や理論的研究において大きな注目を集めている。 意思決定プロセス(MDP)の枠組みにおいて,意思決定者が累積報酬の汎用機能を最適化しようとするシナリオを考える。 累積報酬の空間上でのエプシロン被覆を用いた修正値反復アルゴリズムを提案する。 シミュレータが存在しない場合,提案アルゴリズムは高信頼度探索法を用いて設計され,ほぼ最適ポリシーを同定する。
  論文  参考訳（メタデータ） (2023-11-22T18:50:06Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
  我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。 本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。 その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-03T18:03:44Z)
• Actions Speak What You Want: Provably Sample-Efficient Reinforcement Learning of the Quantal Stackelberg Equilibrium from Strategic Feedbacks [94.07688076435818]
  本研究では,量子スタックルバーグ平衡(QSE)学習のための強化学習を,リーダ・フォロワー構造を持つエピソディックマルコフゲームで研究する。 このアルゴリズムは, (i) 最大推定による量子応答モデル学習と (ii) リーダーの意思決定問題を解決するためのモデルフリーまたはモデルベースRLに基づく。
  論文  参考訳（メタデータ） (2023-07-26T10:24:17Z)
• Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes [35.889129338603446]
  ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。 彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。 メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
  論文  参考訳（メタデータ） (2023-06-13T12:58:12Z)
• Policy Gradient With Serial Markov Chain Reasoning [10.152838128195468]
  我々は,強化学習における意思決定を反復的推論プロセスとして行う新しい枠組みを導入する。 従来のRLには本質的に欠落しているいくつかの有用な特性があることを示す。 提案アルゴリズムは,人気の高いMujocoおよびDeepMind Controlベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-13T06:15:29Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework [26.612749327414335]
  分散実行は協調型マルチエージェント強化学習(MARL)における中核的要求である 本稿では,マルチエージェントポリシー勾配法と値分解法という,分散ポリシを用いた2つの一般的なアルゴリズムのクラスを理論的に解析する。 我々は,TAD-PPO が有限マルチエージェント MDP において最適政策学習を理論的に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-12T06:59:13Z)
• Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
  複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。 本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-10T21:09:44Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Reinforcement Learning with Algorithms from Probabilistic Structure Estimation [9.37335587960084]
  強化学習アルゴリズムは未知の環境で最適な決定を学習することを目的としている。 エージェントのアクションが環境に影響を及ぼすかどうかは、当初から不明である。 どのRLアルゴリズムが最も適しているかを決定することはしばしば不可能です。
  論文  参考訳（メタデータ） (2021-03-15T09:51:34Z)
• Planning in Markov Decision Processes with Gap-Dependent Sample Complexity [48.98199700043158]
  マルコフ決定過程における計画のための新しいトラジェクトリに基づくモンテカルロ木探索アルゴリズム MDP-GapE を提案する。 我々は, MDP-GapE に要求される生成モデルに対する呼び出し回数の上限を証明し, 確率の高い準最適動作を同定する。
  論文  参考訳（メタデータ） (2020-06-10T15:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。