論文の概要: Understanding and Stabilizing Deep Q-Learning via Controlled Bootstrapping and Regulated Value Dynamics

• arxiv url: http://arxiv.org/abs/2608.16182v1
• Date: Mon, 17 Aug 2026 06:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.561939
• Title: Understanding and Stabilizing Deep Q-Learning via Controlled Bootstrapping and Regulated Value Dynamics
• Title（参考訳）: 制御ブートストラップと制御値ダイナミクスによる深層Q-Learningの理解と安定化
• Abstract要約: 本稿では,3つの相補的な視点から,深層Q-ラーニングにおける不安定性の系統的解析を行う。 報奨型自己強化トラップと特性パラメータスパイクダイナミクスを同定する。 Atari-100KとProcgenの実験では、競争性能が向上し、トレーニング安定性が向上した。
• 参考スコア（独自算出の注目度）: 2.358468106592515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Q-learning (DQL) has achieved remarkable empirical success in reinforcement learning, yet its training process remains notoriously unstable. Existing studies often attribute instability to isolated factors such as overestimation bias or representation learning issues, lacking a unified understanding of how different sources of instability interact during recursive value estimation. In this work, we provide a systematic analysis of instability in deep Q-learning from three complementary perspectives: operator-level bias in Bellman bootstrapping, estimator-level sensitivity of greedy action selection to regression noise, and parameter-dynamics imbalance under aggressive data reuse. We identify a reward-triggered self-reinforcing trap and characteristic parameter spike dynamics, then derive stabilization principles for controlled bootstrapping, ensemble quantile estimation, and spike-based parameter regulation. Experiments on Atari-100K and Procgen demonstrate competitive performance and improved training stability.
• Abstract（参考訳）: ディープQラーニング(DQL)は強化学習において目覚ましい成功を収めているが、トレーニングプロセスは依然として不安定である。 既存の研究はしばしば、過大評価バイアスや表現学習問題のような孤立した要因に対する不安定さを原因としており、再帰的価値推定の間に異なる不安定なソースがどのように相互作用するかの統一的な理解が欠如している。 本研究では,ベルマンブートストラッピングにおける演算子レベルバイアス,回帰雑音に対するグリーディ行動選択の推定器レベル感度,積極的データ再利用におけるパラメータ-力学不均衡の3つの相補的視点から,深部Q-ラーニングの不安定性の系統的解析を行う。 報奨型自己強化トラップと特性パラメータスパイクダイナミクスを特定し、その後、制御ブートストラップ、アンサンブル量子推定、スパイクに基づくパラメータ制御のための安定化原理を導出する。 Atari-100KとProcgenの実験では、競争性能が向上し、トレーニング安定性が向上した。

関連論文リスト

• Robust Dynamic Expansion for Continual Learning under Backdoor Attacks via Purification and Selective Recovery [21.762207770794916]
  実際のシナリオでは、信頼できないソースから収集されたタスクストリームには、バックドア毒素のサンプルが含まれる可能性がある。 本稿では, 試料浄化, 選択的回収, 頑健なエキスパートルーティングを統合した, 堅牢な動的拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-06T02:52:44Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning [0.0]
  逐次残差学習によるモデルドリフトに対応する適応型アンサンブル法であるemphGradient-Boosted Deep Q-Networks (GB-DQN)を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。
  論文  参考訳（メタデータ） (2025-12-18T19:53:50Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
  本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-15T21:49:28Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Assessment of DeepONet for reliability analysis of stochastic nonlinear dynamical systems [4.301367153728694]
  本稿では,最近提案したDeepONetが負荷を受けるシステムの時間依存信頼性解析および不確実性定量化における有効性について検討する。 従来の機械学習やディープラーニングアルゴリズムとは異なり、DeepONetはオペレータネットワークであり、関数マッピングの関数を学ぶ。
  論文  参考訳（メタデータ） (2022-01-31T11:41:08Z)
• Adversarially Robust Stability Certificates can be Sample-Efficient [14.658040519472646]
  未知の非線形力学系に対する逆向きに頑健な安定性証明について考察する。 敵安定証明書を学習する統計的コストは,定型的安定性証明書を学習するのと同程度であることを示す。
  論文  参考訳（メタデータ） (2021-12-20T17:23:31Z)
• Parameter-Free Deterministic Reduction of the Estimation Bias in Continuous Control [0.0]
  パラメータフリーで新しいQ-ラーニングバリアントを導入し、この過小評価バイアスを連続制御に還元する。 我々は、MuJoCoとBox2Dの連続制御タスクのセットで改善性能をテストする。
  論文  参考訳（メタデータ） (2021-09-24T07:41:07Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。