論文の概要: Non-asymptotic Convergence of Average-reward Q-learning with Options

• arxiv url: http://arxiv.org/abs/2610.20347v1
• Date: Wed, 14 Oct 2026 15:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.221251
• Title: Non-asymptotic Convergence of Average-reward Q-learning with Options
• Title（参考訳）: オプション付き平均逆Q-ラーニングの非漸近的収束
• Abstract要約: 本稿では,Q-ラーニングアルゴリズムの有限サンプル収束について,RL(Reinforcement Learning)の平均回帰定式化について検討する。 平均逆選択Q-ラーニングアルゴリズムに対して、平均二乗の意味で、第1の収束保証を、オプション間およびオプション内設定の両方で確立する。
• 参考スコア（独自算出の注目度）: 17.191307819095027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the finite-sample convergence of Q-learning algorithms for the average-reward formulation of Reinforcement Learning (RL) with options. While options allow temporarily extended and hierarchical actions, the average-reward formulation incorporates continual tasks beyond discounted and episodic RL. We establish the first $\tilde{O}(1/\text{iterations})$ convergence guarantees, in the mean-square sense, for average-reward option Q-learning algorithms in both the inter- and intra-option settings. First, we prove that both inter- and intra-option Bellman operators satisfy multi-step span contractions under unichain assumptions. Then, we propose synchronous estimators of these multi-step option Bellman operators leading to two variants of option Q-learning. Finally, we extend the stochastic approximation framework to prove convergence rates of these two algorithms under the minimal assumptions used in the literature.
• Abstract（参考訳）: 本稿では,Q-ラーニングアルゴリズムの有限サンプル収束について,RL(Reinforcement Learning)の平均回帰定式化について検討する。 オプションは一時的に拡張された階層的な動作を許すが、平均逆の定式化は割引やエピソディックなRLを超えて連続的なタスクを組み込む。 平均逆選択Q-ラーニングアルゴリズムに対して、平均二乗の意味で、最初の$\tilde{O}(1/\text{iterations})$収束を保証する。 まず、オプション内およびオプション内ベルマン作用素がユニチェーン仮定の下で多段階のスパン縮約を満たすことを証明する。 そこで我々は,この多段階のベルマン演算子の同期推定器を提案し,選択肢Q-ラーニングの2つの変種を導いた。 最後に、この2つのアルゴリズムの収束率を、文献で用いられる最小の仮定の下で証明するために、確率近似フレームワークを拡張した。

関連論文リスト

• Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs [2.574071344130061]
  マルコフ決定過程における指数効用最適化のための強化学習(RL)は、原則的値ベースアルゴリズムを欠いている。 2つのQ値型拡張を導出し、関連する作用素が$L_infty$とsup-log/Thompsonメトリクスの縮約であることを示す。 我々は、時間スケールの分離により、ほぼ全周収束を確立し、有限時間収束率を与えるとともに、サブ線形パワーロー演算子によって制御される1時間スケールのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2026-05-08T17:41:48Z)
• Bridging the Gap Between Average and Discounted TD Learning [14.556544278062793]
  平均回帰設定において,政策評価のために明示的に設計された新しいアルゴリズムを提案する。 提案手法は, 適切に定義されたベルマン方程式の一意解への収束を保証することによって, 従来の限界を克服する。
  論文  参考訳（メタデータ） (2026-05-03T23:54:36Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Regularized Q-Learning with Linear Function Approximation [2.765106384328772]
  線形汎関数近似を用いた正規化Q-ラーニングの2段階最適化について検討する。 特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
  論文  参考訳（メタデータ） (2024-01-26T20:45:40Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。