Fugu-MT 論文翻訳(概要): MDP Geometry, Normalization and Reward Balancing Solvers

論文の概要: MDP Geometry, Normalization and Reward Balancing Solvers

arxiv url: http://arxiv.org/abs/2407.06712v4
Date: Wed, 05 Mar 2025 15:40:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-06 21:49:12.060236
Title: MDP Geometry, Normalization and Reward Balancing Solvers
Title（参考訳）: MDP幾何と正規化とリワードバランシング解
Authors: Arsenii Mustafin, Aleksei Pakharev, Alex Olshevsky, Ioannis Ch. Paschalidis,
Abstract要約: 本稿では,マルコフ決定過程(MDP)の自然な正規化手順による新しい幾何学的解釈を提案する。このMDPの利点保存変換は、私たちがReward Balancingと呼ぶアルゴリズムのクラスを動機付けます。本稿では、このクラスにおけるいくつかのアルゴリズムの収束解析を行い、特に、未知の遷移確率のMDPに対して、最先端のサンプル複雑性の結果を改善することができることを示す。
参考スコア（独自算出の注目度）: 15.627546283580166
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new geometric interpretation of Markov Decision Processes (MDPs) with a natural normalization procedure that allows us to adjust the value function at each state without altering the advantage of any action with respect to any policy. This advantage-preserving transformation of the MDP motivates a class of algorithms which we call Reward Balancing, which solve MDPs by iterating through these transformations, until an approximately optimal policy can be trivially found. We provide a convergence analysis of several algorithms in this class, in particular showing that for MDPs for unknown transition probabilities we can improve upon state-of-the-art sample complexity results.
Abstract（参考訳）: 本稿では,マルコフ決定過程 (MDP) の自然な正規化手順による幾何学的解釈を提案する。このMDPの利点保存変換は、私たちがReward Balancingと呼ぶアルゴリズムのクラスを動機付け、これらの変換を反復することでMDPを解く。本稿では、このクラスにおけるいくつかのアルゴリズムの収束解析を行い、特に、未知の遷移確率のMDPに対して、最先端のサンプル複雑性の結果を改善することができることを示す。

関連論文リスト

Geometric Re-Analysis of Classical MDP Solving Algorithms [15.627546283580166]
我々は最近導入されたMarkov Decision Processs (MDP) の幾何学的解釈に基づいてアルゴリズムを解析する:Value Iteration (VI) と Policy Iteration (PI)。まず、これらのアルゴリズムの収束保証を改善するために、割引係数を$gammaに変更する変換を含む幾何解析装置を開発する。
論文参考訳（メタデータ） (2025-03-06T08:29:36Z)
Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis [30.713243690224207]
マルコフ決定過程(MDPs)において、バリュー・アット・リスク(Value-at-Risk)のような量子リスク尺度は、特定の結果に対するRLエージェントの嗜好をモデル化するための標準指標である。本稿では,強い収束と性能保証を有するMDPにおける量子化最適化のための新しいQ-ラーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-31T16:53:20Z)
Solving Multi-Model MDPs by Coordinate Ascent and Dynamic Programming [8.495921422521068]
マルチモデルマルコフ決定プロセス(MMDP)は、コンピューティングポリシーのための有望なフレームワークである。 MMDP は,MDP モデルの分布よりも期待されるリターンを最大化する政策を見出すことを目的としている。本稿では,コーディネート・アセント法と,MMDPを解く動的プログラミングアルゴリズムを組み合わせたCADPを提案する。
論文参考訳（メタデータ） (2024-07-08T18:47:59Z)
Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文参考訳（メタデータ） (2024-05-14T13:28:57Z)
Towards Instance-Optimality in Online PAC Reinforcement Learning [28.156332484814616]
そこで本研究では,PACの同定に要するサンプルの複雑さに対する最初のインスタンス依存下限について提案する。我々は、citeWagenmaker22linearMDPのPEDELアルゴリズムのサンプル複雑さがこの下界に近づいたことを実証する。
論文参考訳（メタデータ） (2023-10-31T19:26:36Z)
Non-stationary Reinforcement Learning under General Function Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。 SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文参考訳（メタデータ） (2023-06-01T16:19:37Z)
Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
論文参考訳（メタデータ） (2023-05-08T16:20:03Z)
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes [8.601670707452083]
マルコフ決定過程(MDP)における平均と分散の動的最適化は、動的プログラミングの失敗によって引き起こされる長年にわたる課題である。本研究では, 定常平均値と分散値の組合せを組み合わさって, 無限水平非分散MDPの最適解を求める手法を提案する。
論文参考訳（メタデータ） (2023-02-27T12:17:43Z)
First-order Policy Optimization for Robust Markov Decision Process [40.2022466644885]
我々はロバストマルコフ決定過程(MDP)の解法を考える。 MDPは、不確実な遷移カーネルを持つ割引状態、有限状態、有限作用空間 MDP の集合を含む。 $(mathbfs,mathbfa)$-矩形不確かさ集合に対して、ロバストな目的に関するいくつかの構造的な観察を確立する。
論文参考訳（メタデータ） (2022-09-21T18:10:28Z)
Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文参考訳（メタデータ） (2022-09-15T07:22:58Z)
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
論文参考訳（メタデータ） (2022-05-28T04:05:20Z)
Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
論文参考訳（メタデータ） (2021-05-18T04:35:41Z)
Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文参考訳（メタデータ） (2020-10-21T17:14:31Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)
Partial Policy Iteration for L1-Robust Markov Decision Processes [13.555107578858307]
本稿では、ロバストなMDPの共通クラスを解くための新しい効率的なアルゴリズムについて述べる。我々は、ロバストなMDPのための部分ポリシーイテレーション、新しい、効率的で柔軟な、一般的なポリシーイテレーションスキームを提案する。実験結果から,提案手法は最先端手法よりも桁違いに高速であることが示唆された。
論文参考訳（メタデータ） (2020-06-16T19:50:14Z)
Planning in Markov Decision Processes with Gap-Dependent Sample Complexity [48.98199700043158]
マルコフ決定過程における計画のための新しいトラジェクトリに基づくモンテカルロ木探索アルゴリズム MDP-GapE を提案する。我々は, MDP-GapE に要求される生成モデルに対する呼び出し回数の上限を証明し, 確率の高い準最適動作を同定する。
論文参考訳（メタデータ） (2020-06-10T15:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。