Fugu-MT 論文翻訳(概要): On Value Iteration Convergence in Connected MDPs

論文の概要: On Value Iteration Convergence in Connected MDPs

arxiv url: http://arxiv.org/abs/2406.09592v1
Date: Thu, 13 Jun 2024 21:17:25 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 17:14:47.025382
Title: On Value Iteration Convergence in Connected MDPs
Title（参考訳）: 連結MDPにおける値反復収束について
Authors: Arsenii Mustafin, Alex Olshevsky, Ioannis Ch. Paschalidis,
Abstract要約: 本稿では,一意の最適ポリシとエルゴディック関連遷移行列を持つMDPが,値反復アルゴリズムの様々なバージョンを収束させることを確かめる。
参考スコア（独自算出の注目度）: 17.071971639540976
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper establishes that an MDP with a unique optimal policy and ergodic associated transition matrix ensures the convergence of various versions of the Value Iteration algorithm at a geometric rate that exceeds the discount factor {\gamma} for both discounted and average-reward criteria.
Abstract（参考訳）: 本稿では,一意の最適ポリシとエルゴード関連遷移行列を持つMDPが,値イテレーションアルゴリズムの様々なバージョンを,割引基準と平均回帰基準の両方で割引係数を超越した幾何速度で収束することを保証する。

関連論文リスト

Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost [3.9052860539161918]
本稿では,マルコフ決定過程(MDP)における定常最適ポリシー学習のためのエージェントベース楽観的ポリシー(OPI)手法を提案する。提案手法は, 強欲政策改善段階とm段階時間差(TD)政策評価段階から構成される。我々は,OPIスキームの同期(入出力状態空間の評価)と非同期(一様にサンプリングされたサブステートの集合)の両バージョンが,最適値関数と最適共同ポリシーのロールアウトに収束することを示した。
論文参考訳（メタデータ） (2024-10-19T17:00:23Z)
Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2024-05-26T15:18:22Z)
Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文参考訳（メタデータ） (2024-05-14T13:28:57Z)
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes [50.68789924454235]
我々は、平均報酬マルコフ決定過程(MDP)の文脈における政策勾配の最初の有限時間大域収束解析を示す。我々の分析によると、ポリシー勾配は、$Oleft(frac1Tright)$のサブリニアレートで最適ポリシーに収束し、$Oleft(log(T)right)$ regretに変換され、$T$は反復数を表す。
論文参考訳（メタデータ） (2024-03-11T15:25:03Z)
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes [9.100580570005407]
修正ポリシー反復(英:Modified Policy iteration、MPI)は、ポリシーの反復と価値の反復の要素を組み合わせた動的プログラミングアルゴリズムである。有限状態および作用空間の場合、MPIがリスク感受性問題に収束するという最初の証明を提供する。本研究は,リスクに敏感なMPIの計算効率を,価値とポリシーの反復技術と比較して向上させるものである。
論文参考訳（メタデータ） (2023-02-08T00:30:58Z)
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning [64.05646120624287]
LVDとMVDの結合Q値関数を導出する。最適な整合性を確保するために、最適なノードは独自のSTNである必要がある。本手法は,様々なベンチマーク実験において,最先端のベースラインよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-11-22T08:14:50Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-10T21:09:44Z)
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes [7.510742715895749]
本稿では,無限水平割引マルコフ決定過程(MDP)におけるリスク-逆平均分散最適化について検討する。本稿では,処理不能なMPPを標準形式で再定義された報酬関数を持つ標準形式に変換するための擬似平均を導入する。平均分散最適化のための2レベル最適化構造を持つ統合アルゴリズムフレームワークを提案する。
論文参考訳（メタデータ） (2022-01-15T02:19:56Z)
Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
論文参考訳（メタデータ） (2021-05-18T04:35:41Z)
Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文参考訳（メタデータ） (2021-02-27T19:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。