Fugu-MT 論文翻訳(概要): Heavy-Ball Q-Learning with Residual Weighting Correction

論文の概要: Heavy-Ball Q-Learning with Residual Weighting Correction

arxiv url: http://arxiv.org/abs/2606.27112v1
Date: Thu, 25 Jun 2026 14:48:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.325093
Title: Heavy-Ball Q-Learning with Residual Weighting Correction
Title（参考訳）: 残留重み補正による重度Q-Learning
Abstract要約: 本稿では、強化学習(RL)のための修正重ボールQ-ラーニング法を提案する。また、理論上、この手法が標準Q-ラーニングよりも早く収束することが保証されている条件を特定する。
参考スコア（独自算出の注目度）: 7.8232617281369805
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper proposes a corrected heavy-ball Q-learning method for reinforcement learning (RL) and establishes its convergence. It also identifies conditions under which the method is theoretically guaranteed to converge faster than standard Q-learning. The same construction is then extended to Q-learning with linear function approximation, where analogous convergence and acceleration statements are derived. The analysis is based on a switched linear system (SLS) representation of Q-learning algorithms and on the joint spectral radius (JSR) of the associated switching families. This SLS viewpoint is not commonly used in standard analyses of Q-learning, and it provides a complementary framework and new insight into how heavy-ball momentum can accelerate Q-learning.
Abstract（参考訳）: 本稿では、強化学習(RL)のための修正重ボールQ-ラーニング法を提案し、その収束性を確立する。また、理論上、この手法が標準Q-ラーニングよりも早く収束することが保証されている条件を特定する。同じ構成を線形関数近似を用いてQ-ラーニングに拡張し、類似の収束と加速度文を導出する。この分析は、Q-ラーニングアルゴリズムの線形系(SLS)表現と関連するスイッチングファミリーの合同スペクトル半径(JSR)に基づいて行われる。このSLS視点は、Qラーニングの標準的な分析では一般的に使われておらず、重球運動量がどのようにQラーニングを加速するかに関する補足的な枠組みと新たな洞察を提供する。

関連論文リスト

Spectral Analysis of Dueling Q-Learning [7.8232617281369805]
Q-learning is a fundamental algorithm in reinforcement learning (RL) forsolved Markov decision process (MDPs) ディープQネットワーク(DQN)は、Q関数近似のためのディープニューラルネットワークを用いてQラーニングを拡張する。 Q-ラーニングはQ-関数を値関数と有利関数に分解し、2つの成分を共に学習する。
論文参考訳（メタデータ） (2026-07-09T10:29:22Z)
Target Updates May Stabilize Linear Q-Learning: Periodic and Soft Dynamics [7.8232617281369805]
本稿では,線形関数近似を用いたQ学習機構の厳密かつ正確に解析する(線形Q学習)。線形Q-ラーニングは一般に収束しないが、明示的なスペクトルおよびステップサイズ条件下では、周期的ハードターゲット更新とソフトターゲット更新が正確なQ-ベルマン解の収束を保証することを証明している。
論文参考訳（メタデータ） (2026-05-31T15:46:20Z)
GQA-μP: The maximal parameterization update for grouped query attention [64.99972873396649]
グループクエリアテンション(GQA)のためのPスケールの導出方法を示す。また,GQA繰り返しハイパーパラメータ間での学習速度の伝達を示すことによって,理論的導出の有効性を示す。
論文参考訳（メタデータ） (2026-05-14T18:03:16Z)
A Switching System Theory of Q-Learning with Linear Function Approximation [10.48957127047368]
本稿では,共同スペクトル半径(JSR)に基づく線形関数近似(LFA)を用いたQ-ラーニングの切替系解釈を開発する。平均力学の線形切替モデルを導出し,それに対応する切替系に関連付ける。フレームワークはまた、LFAによる正規化Q-ラーニングのJSRベースのビューも提供します。
論文参考訳（メタデータ） (2026-05-10T16:21:31Z)
VQC-MLPNet: An Unconventional Hybrid Quantum-Classical Architecture for Scalable and Robust Quantum Machine Learning [50.95799256262098]
変分量子回路(VQC)は量子機械学習を約束するが、表現性、訓練性、耐雑音性の課題に直面している。本稿では,VQCが学習中に古典多層パーセプトロンの第一層重みを生成するハイブリッドアーキテクチャであるVQC-MLPNetを提案する。
論文参考訳（メタデータ） (2025-06-12T01:38:15Z)
Unified ODE Analysis of Smooth Q-Learning Algorithms [7.8232617281369805]
近年,Q-ラーニングのためのコンバージェンス解析をスイッチングシステムフレームワークを用いて導入している。スイッチングシステムアプローチを改善するために,より汎用的で統一的な収束解析を提案する。
論文参考訳（メタデータ） (2024-04-20T01:16:27Z)
Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-26T18:23:21Z)
Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
論文参考訳（メタデータ） (2023-05-18T03:08:18Z)
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
論文参考訳（メタデータ） (2021-10-16T01:47:41Z)
Finite-Time Analysis of Asynchronous Q-Learning with Discrete-Time Switching System Models [6.85316573653194]
一定のステップサイズを持つQ学習を離散時間切替線形系として自然に定式化できることを実証する。主に制御フレームワークに基づくQ-ラーニングに関する新規かつ直感的な洞察を提供する。
論文参考訳（メタデータ） (2021-02-17T05:32:07Z)
Momentum Q-learning with Finite-Sample Convergence Guarantee [49.38471009162477]
本稿では,有限サンプル保証を用いたモーメントに基づくQ-ラーニングアルゴリズムのクラスを解析する。線形関数近似とマルコフサンプリングによるMomentumQの収束保証を確立する。提案したMomentumQが他のモーメントベースのQ-ラーニングアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2020-07-30T12:27:03Z)
Analysis of Q-learning with Adaptation and Momentum Restart for Gradient Descent [47.3692506462581]
AMSGradを更新したQ-ラーニングアルゴリズムであるQ-AMSGradの収束率を特徴付ける。性能向上のために,Q-AMSGradに運動量再起動方式を導入し,Q-AMSGradRアルゴリズムを提案する。線形2次規制問題に対する実験により、提案した2つのQ-ラーニングアルゴリズムは、SGD更新でバニラQ-ラーニングより優れていることが示された。
論文参考訳（メタデータ） (2020-07-15T01:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。