論文の概要: GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.17034v1
• Date: Thu, 18 Dec 2025 19:53:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.155583
• Title: GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning
• Title（参考訳）: GB-DQN:非定常強化学習のための勾配強化DQNモデル
• Abstract要約: 逐次残差学習によるモデルドリフトに対応する適応型アンサンブル法であるemphGradient-Boosted Deep Q-Networks (GB-DQN)を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Non-stationary environments pose a fundamental challenge for deep reinforcement learning, as changes in dynamics or rewards invalidate learned value functions and cause catastrophic forgetting. We propose \emph{Gradient-Boosted Deep Q-Networks (GB-DQN)}, an adaptive ensemble method that addresses model drift through incremental residual learning. Instead of retraining a single Q-network, GB-DQN constructs an additive ensemble in which each new learner is trained to approximate the Bellman residual of the current ensemble after drift. We provide theoretical results showing that each boosting step reduces the empirical Bellman residual and that the ensemble converges to the post-drift optimal value function under standard assumptions. Experiments across a diverse set of control tasks with controlled dynamics changes demonstrate faster recovery, improved stability, and greater robustness compared to DQN and common non-stationary baselines.
• Abstract（参考訳）: 非定常環境は、力学や報酬の変化が学習価値関数を無効にし、破滅的な忘れを引き起こすため、深い強化学習にとって根本的な課題となる。 逐次逐次学習によるモデルドリフトに対応する適応型アンサンブル法である \emph{Gradient-Boosted Deep Q-Networks (GB-DQN) を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。 本稿では,各ブースティングステップが経験的ベルマン残差を低減し,アンサンブルが標準仮定の下でのドリフト後の最適値関数に収束することを示す理論的結果を示す。 制御された動的変化を伴う多様な制御タスクに対する実験は、DQNや一般的な非定常ベースラインと比較して、より高速な回復、安定性の向上、より堅牢性を示す。

関連論文リスト

• Understanding and Stabilizing Deep Q-Learning via Controlled Bootstrapping and Regulated Value Dynamics [2.358468106592515]
  本稿では,3つの相補的な視点から,深層Q-ラーニングにおける不安定性の系統的解析を行う。 報奨型自己強化トラップと特性パラメータスパイクダイナミクスを同定する。 Atari-100KとProcgenの実験では、競争性能が向上し、トレーニング安定性が向上した。
  論文  参考訳（メタデータ） (2026-08-17T06:55:41Z)
• Revisiting TD Target Aggregation under Uncertainty in Q-Learning [2.4908682918195804]
  Deep Q-Networks(DQN)は、ブートストラップされた時間差分更新を通じて値関数を学習する。 我々は、TDターゲットの生成方法を規則化するQラーニングへの簡単なロールアウトである、textbfSuccessor Rollout textbfAggregation textbfDeep textbfQ-Network (SADQ)を提案する。
  論文  参考訳（メタデータ） (2026-08-04T03:31:24Z)
• Deep Q-Learning on Hölder Spaces [0.5671339754416556]
  連続状態と動作を伴う連続時間制御におけるQ-ラーニングの演算子理論コアについて検討する。 ベルマンの更新により、有界な入力を異方正則クラスにマッピングし、状態変数を滑らかにするとともに、動作変数にリプシッツのみ依存することを示す。 結果として得られる理論は、ベルマンの目標正則性と連続制御における近似のレベルにおけるQ-ラーニング理論に直接貢献する。
  論文  参考訳（メタデータ） (2026-06-15T15:23:22Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Confounding Robust Continuous Control via Automatic Reward Shaping [48.93769483870838]
  オフラインデータセットから連続制御問題に対する報酬形成機能を自動的に学習することを提案する。 提案手法は,最近提案された因果ベルマン方程式に基づいて,最適状態値の厳密な上界を学習する。 私たちの研究は、因果的観点から堅牢な継続的制御を分離する第一歩です。
  論文  参考訳（メタデータ） (2026-02-10T21:23:12Z)
• Consistency Deep Equilibrium Models [8.278751626877431]
  ディープラーニングにおける強力なパラダイムとして、Deep Equilibrium Models (DEQ)が登場している。 DEQは、固定点ソルバの反復性により、大きな推論遅延を引き起こす。 我々は、DEC推論を高速化するために、一貫性深度平衡モデル(C-DEQ)を導入する。
  論文  参考訳（メタデータ） (2026-02-03T02:42:48Z)
• Sat-EnQ: Satisficing Ensembles of Weak Q-Learners for Reliable and Compute-Efficient Reinforcement Learning [0.0]
  Sat-EnQは、アグレッシブに最適化する前に、十分に良いことを学習するフレームワークです。 フェーズ1では、初期価値成長を制限する満足度の高い目標の下で、軽量Qネットワークのアンサンブルをトレーニングします。 フェーズ2では、アンサンブルはより大きなネットワークに蒸留され、標準のダブルDQNで微調整される。
  論文  参考訳（メタデータ） (2025-12-28T12:41:09Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
  本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-15T21:49:28Z)
• Ensemble Elastic DQN: A novel multi-step ensemble approach to address overestimation in deep value-based reinforcement learning [1.8008841825105586]
  本稿では,エンサンブルを弾性的なステップ更新で統一し,アルゴリズム性能を安定化させる,Ensemble Elastic Step DQN (EEDQN) という新しいアルゴリズムを提案する。 EEDQNは、過大評価バイアスとサンプル効率という、深層強化学習における2つの大きな課題に対処するように設計されている。 以上の結果から,EEDQNは全テスト環境において一貫したロバストな性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T03:36:19Z)
• Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization [15.212942734663514]
  CrossQは,更新データ(UTD)比が1。 より高UTD比で強調されるトレーニングダイナミクスの課題を明らかにする。 提案手法はUTD比の増大とともに確実にスケールし,25の難易度連続制御タスクにまたがる競争性能を達成する。
  論文  参考訳（メタデータ） (2025-02-11T12:55:32Z)
• SALE-Based Offline Reinforcement Learning with Ensemble Q-Networks [0.0]
  本稿では, EDAC から, アンサンブル Q-networks と勾配多様性ペナルティを統合したモデルフリーアクタ批判アルゴリズムを提案する。 提案アルゴリズムは,既存手法に比べて収束速度,安定性,性能の向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T10:22:30Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。