論文の概要: Mixing Regularization for Average-Reward $Q$-Learning and $Q$-Planning

• arxiv url: http://arxiv.org/abs/2610.14988v1
• Date: Sat, 10 Oct 2026 15:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.140357
• Title: Mixing Regularization for Average-Reward $Q$-Learning and $Q$-Planning
• Title（参考訳）: Average-Reward $Q$-Learningと$Q$-Planningの混合正規化
• Abstract要約: 我々は、強化学習のための報酬非依存の$m$-step混合ポリシーを提案する。 我々は,混合政策に向けて規則化することで,学習政策の収縮・探索特性を制御する。 我々のフレームワークは、制約、探索、演算子バイアスを制御する新しい正規化子依存オブジェクトを公開する。
• 参考スコア（独自算出の注目度）: 7.0214066512269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The average-reward setting for reinforcement learning is challenging because its Bellman operator is known to contract in span only when the underlying Markov chain is mixing. Whereas existing work typically assumes a contraction property, e.g., through environment mixing, we consider the setting where we are given a reward-agnostic $m$-step mixing policy, and we control the contraction and exploration properties of the learned policy by regularizing toward the mixing policy. We provide finite-time analysis of $Q$-learning algorithms that can be instantiated with multiple choices of regularization, with guarantees measured with respect to the regularized fixed point. Our framework exposes novel regularizer-dependent objects that control contraction, exploration, and operator bias. In the one-step setting, our rates match the best known rates for $Q$-iteration and synchronous $Q$-learning, and for $m$-step mixing we derive new rates. We also study $Q$-planning variants, and show that planning acts as time-localized learning, where the planning horizon $H$ trades off the bias from the boundary value against the sample complexity. Finally, we present numerical studies validating the analysis: (i) knowledge of a strong mixing policy improves convergence and exploration, and its advantage increases with bottleneck severity and, (ii) our theory predicts the convergence and bias rankings of regularizers from the $α$-divergence family.
• Abstract（参考訳）: ベルマン作用素は、基礎となるマルコフ連鎖が混合されている場合にのみ、スパンで収縮することが知られているため、強化学習のための平均逆条件は困難である。 既存の作業では, 環境混合を通じて収縮特性, 例えば環境混合を前提として, 報酬非依存の$m$-step混合政策が与えられるような設定を検討し, 混合政策に向けて規則化することで, 学習政策の収縮・探索特性を制御する。 正規化の複数の選択でインスタンス化できる$Q$-learningアルゴリズムの有限時間解析を、正規化の固定点に関して測定する。 我々のフレームワークは、制約、探索、演算子バイアスを制御する新しい正規化子依存オブジェクトを公開する。 1ステップ設定では、我々のレートは、$Q$-iterationと同期$Q$-learningの最もよく知られたレートと一致し、$m$-stepの混合では、新しいレートが導出されます。 Q$プランニングの変種についても検討し、プランニングが時間局所学習として機能し、プランニングの地平である$H$が境界値からサンプルの複雑さに対するバイアスを排除していることを示す。 最後に,解析を検証した数値的研究について述べる。 一) 強い混合政策の知識は収束と探索を改善し、その優位性はボトルネックの深刻さとともに増大し、 (II)我々の理論は、正則化器の収束と偏りのランキングを$α$-divergence familyから予測する。

関連論文リスト

• Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning [55.04472833034441]
  本研究では,専門家と学習者の行動を識別する対人報酬に対する政策を最適化することにより,エージェントが専門家のデモンストレーションを模倣することを学習する対人模倣学習(AIL)について研究する。 我々のアルゴリズムであるDually Regularized AILは、KLポリシーの正規化と、専門家と学習者による重み付けされた2次報酬報酬を組み合わせる。
  論文  参考訳（メタデータ） (2026-09-28T17:40:11Z)
• Personalized Federated Reinforcement Learning via Model-Agnostic Meta-Learning: Convergence of Exact and Hessian-Free Meta-Policy Gradients [5.977181405597602]
  個人化強化連合学習について検討し、$n$エージェントがサーバを介して協調して共有MAMLスタイルのポリシーを学習する。 本稿では,Per-FedAvg-PGを提案する。
  論文  参考訳（メタデータ） (2026-09-19T07:11:23Z)
• A Minimal-Assumption Analysis of Q-Learning with Time-Varying Policies [3.950802208390739]
  時変学習ポリシーの下でQ-ラーニングアルゴリズムの最初の有限時間解析を行う。 その結果、政治上のQ-ラーニングは、政治外のQ-ラーニングよりも探究が弱いことが判明した。 数値シミュレーションは我々の理論を裏付ける。
  論文  参考訳（メタデータ） (2025-10-17T18:19:00Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs [63.47351876442425]
  本研究は,完全情報フィードバックの下で,相変わらずの相変わらずの線形混合MDPについて検討した。 本稿では,占領率に基づく手法と政策に基づく手法の利点を組み合わせた新しいアルゴリズムを提案する。 我々のアルゴリズムは$widetildemathcalO(d sqrtH3 K + sqrtHK(H + barP_K$)$ dynamic regret, ここで$d$は特徴次元である。
  論文  参考訳（メタデータ） (2024-11-05T13:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。