論文の概要: Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach

• arxiv url: http://arxiv.org/abs/2610.10326v1
• Date: Wed, 07 Oct 2026 16:13:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.030866
• Title: Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
• Title（参考訳）: 多鎖MDPに対する平均逆強化学習:階層的分解アプローチ
• Abstract要約: 平均逆マルチチェーンマルコフ決定過程(MDP)における学習最適ポリシーの研究 本稿では,MDPの遷移グラフ以外のモデル知識を必要としない,非同期な値編集に基づく強化学習アルゴリズムを提案する。 アルゴリズムは最適ゲインに収束し、有限時間後にゲイン最適ポリシーを生成することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study learning optimal policies in average-reward multichain Markov decision processes (MDPs), where the optimal gain may depend on the initial state and recurrence structures vary across policies, creating challenges for reinforcement learning (RL) methods. We propose an asynchronous value-iteration-based RL algorithm that requires no model knowledge beyond the MDP's transition graph and leverages Bather's decomposition to hierarchically partition the state space into communicating subsystems and transient states. This decomposition induces a recasting of the global decision problem into structured subproblems, which our algorithm exploits. We show that the algorithm converges to the optimal gain and produces gain-optimal policies after finite time. Building on this base algorithm, we develop two further algorithms: one approximately solves the multichain average optimality equations to obtain near gain-optimal policies, and another targets near bias-optimality by approximating the optimal bias function and solving an induced average-reward multichain MDP using the base algorithm. We provide almost-sure convergence guarantees for all three algorithms and empirically compare their tradeoffs, showing that the latter two also consistently improve transient performance relative to the base algorithm. To our knowledge, these are the first essentially model-free average-reward RL algorithms for general multichain MDPs without reductions to discounted problems.
• Abstract（参考訳）: 平均回帰マルチチェーンマルコフ決定過程(MDP)における学習の最適方針について検討し、最適利得は初期状態に依存し、繰り返し構造はポリシーによって異なり、強化学習(RL)手法の課題が生じる。 本稿では,MDPの遷移グラフ以外のモデル知識を必要とせず,Batherの分解を利用して状態空間を階層的に通信サブシステムと過渡状態に分割する,非同期値編集に基づくRLアルゴリズムを提案する。 この分解により,グローバルな決定問題を構造化サブプロブレムに再キャストする。 アルゴリズムは最適ゲインに収束し、有限時間後にゲイン最適ポリシーを生成することを示す。 本アルゴリズムは, 最適バイアス関数を近似し, 誘導平均逆多重チェーン MDP を基本アルゴリズムを用いて解くことにより, 近似平均最適度方程式を近似的に解き, 最適ゲイン最適度を近似する。 我々は3つのアルゴリズムすべてに対してほぼ確実に収束保証を提供し、それらのトレードオフを実証的に比較し、後者の2つのアルゴリズムはベースアルゴリズムに対する過渡的性能も一貫して改善していることを示す。 我々の知る限り、これらのアルゴリズムは一般的なマルチチェーン MDP に対する事実上のモデルなし平均回帰 RL アルゴリズムとしては、ディスカウント問題への還元を伴わない最初のものである。

関連論文リスト

• Faster Fixed-Point Methods for Multichain MDPs [6.996002801232415]
  平均回帰基準の下で,一般(多鎖)マルコフ決定過程(MDP)を解くための値イテレーション(VI)アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2025-06-26T00:31:21Z)
• RL-finetuning LLMs from on- and off-policy data with a single algorithm [53.70731390624718]
  大規模言語モデルを微調整するための新しい強化学習アルゴリズム(AGRO)を提案する。 AGROは生成整合性の概念を利用しており、最適ポリシーはモデルの任意の世代間での整合性の概念を満たすと述べている。 サンプルベースの政策勾配による最適解を求めるアルゴリズムを導出し,その収束に関する理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-03-25T12:52:38Z)
• A Policy Gradient Primal-Dual Algorithm for Constrained MDPs with Uniform PAC Guarantees [28.974797385513263]
  オンラインマルコフ制約決定過程(CMDP)に対する原始二重強化学習(RL)アルゴリズムについて検討する。 本稿では,一様に近似した正当性(Uniform-PAC)を保証し,最適ポリシへの収束,サブ線形後悔,任意の目標精度に対するサンプル複雑性を同時に確保する,新しいポリシー勾配PDアルゴリズムを提案する。 特に、これはオンラインCMDP問題に対する最初のUniform-PACアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-31T12:23:24Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints [36.16736392624796]
  平均基準付き制約付きMDPに対する関数近似アルゴリズムを用いた新しいポリシー最適化を提案する。 我々は,平均CMDPに対する基本感度理論を開発し,それに対応する境界をアルゴリズムの設計に用いた。 ACMDPに適応した他の最先端アルゴリズムと比較して,実験性能が優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-02T00:23:36Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。