論文の概要: A Switching System Theory of Q-Learning with Linear Function Approximation

• arxiv url: http://arxiv.org/abs/2605.11021v1
• Date: Sun, 10 May 2026 16:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.308393
• Title: A Switching System Theory of Q-Learning with Linear Function Approximation
• Title（参考訳）: 線形関数近似を用いたQ-Learningのスイッチシステム理論
• Authors: Donghwan Lee, Han-Dong Lim,
• Abstract要約: 本稿では,共同スペクトル半径(JSR)に基づく線形関数近似(LFA)を用いたQ-ラーニングの切替系解釈を開発する。 平均力学の線形切替モデルを導出し,それに対応する切替系に関連付ける。 フレームワークはまた、LFAによる正規化Q-ラーニングのJSRベースのビューも提供します。
• 参考スコア（独自算出の注目度）: 10.48957127047368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper develops a switching-system interpretation of Q-learning with linear function approximation (LFA) based on the joint spectral radius (JSR). We derive an exact linear switched model for the mean dynamics and relate convergence to stability of the corresponding switched system. The same construction is then used for stochastic linear Q-learning with independent and identically distributed (i.i.d.) observations and with Markovian observations. Although exact JSR computation is difficult in general, the certificate captures products of switching modes and can be less conservative than one-step norm bounds. The framework also yields a JSR-based view of regularized Q-learning with LFA. The resulting analysis connects projected Bellman equations, finite-difference stochastic-policy switching, and switched-system stability in a single parameter-space formulation.
• Abstract（参考訳）: 本稿では,共同スペクトル半径(JSR)に基づく線形関数近似(LFA)を用いたQ-ラーニングの切替系解釈を開発する。 平均力学の正確な線形切替モデルを導出し、対応する切替系の安定性と収束を関連付ける。 同じ構成は、独立かつ同一に分布した(すなわち、d.d.)観測とマルコフ観測による確率線形Q-ラーニングに使用される。 正確なJSR計算は一般的に難しいが、証明書は切り替えモードの産物をキャプチャし、1ステップのノルム境界よりも保守的でない。 フレームワークはまた、LFAによる正規化Q-ラーニングのJSRベースのビューも提供します。 結果として得られる解析は、投影されたベルマン方程式、有限差分確率政治スイッチング、単一パラメータ空間の定式化における切替系安定性を結合する。

関連論文リスト

• Unified ODE Analysis of Smooth Q-Learning Algorithms [7.8232617281369805]
  近年,Q-ラーニングのためのコンバージェンス解析をスイッチングシステムフレームワークを用いて導入している。 スイッチングシステムアプローチを改善するために,より汎用的で統一的な収束解析を提案する。
  論文  参考訳（メタデータ） (2024-04-20T01:16:27Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。