論文の概要: A Switching System Theory of Q-Learning with Linear Function Approximation
- arxiv url: http://arxiv.org/abs/2605.11021v1
- Date: Sun, 10 May 2026 16:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.308393
- Title: A Switching System Theory of Q-Learning with Linear Function Approximation
- Title（参考訳）: 線形関数近似を用いたQ-Learningのスイッチシステム理論
- Abstract要約: 本稿では,共同スペクトル半径(JSR)に基づく線形関数近似(LFA)を用いたQ-ラーニングの切替系解釈を開発する。
平均力学の線形切替モデルを導出し,それに対応する切替系に関連付ける。
フレームワークはまた、LFAによる正規化Q-ラーニングのJSRベースのビューも提供します。
- 参考スコア（独自算出の注目度）: 10.48957127047368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a switching-system interpretation of Q-learning with linear function approximation (LFA) based on the joint spectral radius (JSR). We derive an exact linear switched model for the mean dynamics and relate convergence to stability of the corresponding switched system. The same construction is then used for stochastic linear Q-learning with independent and identically distributed (i.i.d.) observations and with Markovian observations. Although exact JSR computation is difficult in general, the certificate captures products of switching modes and can be less conservative than one-step norm bounds. The framework also yields a JSR-based view of regularized Q-learning with LFA. The resulting analysis connects projected Bellman equations, finite-difference stochastic-policy switching, and switched-system stability in a single parameter-space formulation.
- Abstract（参考訳）: 本稿では,共同スペクトル半径(JSR)に基づく線形関数近似(LFA)を用いたQ-ラーニングの切替系解釈を開発する。
平均力学の正確な線形切替モデルを導出し、対応する切替系の安定性と収束を関連付ける。
同じ構成は、独立かつ同一に分布した(すなわち、d.d.)観測とマルコフ観測による確率線形Q-ラーニングに使用される。
正確なJSR計算は一般的に難しいが、証明書は切り替えモードの産物をキャプチャし、1ステップのノルム境界よりも保守的でない。
フレームワークはまた、LFAによる正規化Q-ラーニングのJSRベースのビューも提供します。
結果として得られる解析は、投影されたベルマン方程式、有限差分確率政治スイッチング、単一パラメータ空間の定式化における切替系安定性を結合する。
関連論文リスト
- Equation Recast for Canonical Operator Learning Across Parametric PDEs [59.44573033543284]
本稿では,パラメトリック演算子学習を単一正規作用素の学習として再構成する方程式再キャストを提案する。
核融合のための高忠実トカマクシミュレーションにおいて、このフレームワークは4つのデバイス領域にまたがる電子-温度データを統一する。
論文 参考訳（メタデータ） (2026-09-02T13:15:50Z) - Heavy-Ball Q-Learning with Residual Weighting Correction [7.8232617281369805]
本稿では、強化学習(RL)のための修正重ボールQ-ラーニング法を提案する。
また、理論上、この手法が標準Q-ラーニングよりも早く収束することが保証されている条件を特定する。
論文 参考訳（メタデータ） (2026-06-25T14:48:58Z) - Target Updates May Stabilize Linear Q-Learning: Periodic and Soft Dynamics [7.8232617281369805]
本稿では,線形関数近似を用いたQ学習機構の厳密かつ正確に解析する(線形Q学習)。
線形Q-ラーニングは一般に収束しないが、明示的なスペクトルおよびステップサイズ条件下では、周期的ハードターゲット更新とソフトターゲット更新が正確なQ-ベルマン解の収束を保証することを証明している。
論文 参考訳（メタデータ） (2026-05-31T15:46:20Z) - Lyapunov-Certified Direct Switching Theory for Q-Learning [7.8232617281369805]
直接切替システム表現を用いてQ-ラーニングを解析する。
我々は、JSR による Lyapunov 関数を介して有限時間の最終定規を導出する。
論文 参考訳（メタデータ） (2026-04-21T15:22:42Z) - Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
ランダム行列によって駆動される高次元力学系について概説する。
機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
論文 参考訳（メタデータ） (2026-01-03T00:12:32Z) - Unified ODE Analysis of Smooth Q-Learning Algorithms [7.8232617281369805]
近年,Q-ラーニングのためのコンバージェンス解析をスイッチングシステムフレームワークを用いて導入している。
スイッチングシステムアプローチを改善するために,より汎用的で統一的な収束解析を提案する。
論文 参考訳（メタデータ） (2024-04-20T01:16:27Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。
これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。
我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
論文 参考訳（メタデータ） (2021-09-27T17:45:42Z) - Finite-Time Analysis of Asynchronous Q-Learning with Discrete-Time
Switching System Models [6.85316573653194]
一定のステップサイズを持つQ学習を離散時間切替線形系として自然に定式化できることを実証する。
主に制御フレームワークに基づくQ-ラーニングに関する新規かつ直感的な洞察を提供する。
論文 参考訳（メタデータ） (2021-02-17T05:32:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。