論文の概要: ADDQ: Adaptive Distributional Double Q-Learning

• arxiv url: http://arxiv.org/abs/2506.19478v1
• Date: Tue, 24 Jun 2025 10:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.58389
• Title: ADDQ: Adaptive Distributional Double Q-Learning
• Title（参考訳）: ADDQ: 適応型分散型ダブルQラーニング
• Authors: Leif Döring, Benedikt Wille, Maximilian Birr, Mihail Bîrsan, Martin Slowik,
• Abstract要約: Q$-valuesの推定におけるバイアス問題は、Q$-learningおよびアクター批判的手法の収束を遅くするよく知られた障害である。 本稿では,分布強化学習(DRL)アルゴリズム上に構築された簡易な実装手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bias problems in the estimation of $Q$-values are a well-known obstacle that slows down convergence of $Q$-learning and actor-critic methods. One of the reasons of the success of modern RL algorithms is partially a direct or indirect overestimation reduction mechanism. We propose an easy to implement method built on top of distributional reinforcement learning (DRL) algorithms to deal with the overestimation in a locally adaptive way. Our framework is simple to implement, existing distributional algorithms can be improved with a few lines of code. We provide theoretical evidence and use double $Q$-learning to show how to include locally adaptive overestimation control in existing algorithms. Experiments are provided for tabular, Atari, and MuJoCo environments.
• Abstract（参考訳）: Q$-valuesの推定におけるバイアス問題は、Q$-learningおよびアクター批判的手法の収束を遅くするよく知られた障害である。 現代のRLアルゴリズムが成功した理由の1つは、部分的に直接的または間接的な過大評価のメカニズムである。 本稿では,分布強化学習(DRL)アルゴリズム上に構築された簡易な実装手法を提案する。 私たちのフレームワークは実装が簡単で、既存の分散アルゴリズムを数行のコードで改善することができます。 理論的なエビデンスを提供し、double $Q$-learningを用いて、既存のアルゴリズムに局所的に適応的な過大評価制御を組み込む方法を示す。 実験はタブ、Atari、MuJoCo環境向けに提供されている。

関連論文リスト

• Testable Learning with Distribution Shift [9.036777309376697]
  分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。 テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。 ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
  論文  参考訳（メタデータ） (2023-11-25T23:57:45Z)
• Efficient Methods for Non-stationary Online Learning [61.63338724659592]
  本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。 また、さらに強化された測度、すなわち「インターバル・ダイナミック・リピート」を研究し、ラウンド当たりの射影数を$mathcalO(log2 T)$から$$$$に減らした。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• When are Local Queries Useful for Robust Learning? [25.832511407411637]
  本研究では,学習者が局所的なクエリを用いてより多くのパワーを与えられる学習モデルについて検討する。 我々は、ロバストな経験的リスク最小化を行う最初の分布自由アルゴリズムを与える。 我々は、0,1n$でハーフスペースに対してロバストな学習アルゴリズムを与え、その後、精度に縛られた敵に対して$mathbbRn$でハーフスペースに対してロバスト性を保証する。
  論文  参考訳（メタデータ） (2022-10-12T11:04:22Z)
• Robust Methods for High-Dimensional Linear Learning [0.0]
  統計的に頑健で計算効率の良い線形学習法を高次元バッチ設定で提案する。 バニラスパース、グループスパース、低ランク行列回復など、いくつかのアプリケーションでフレームワークをインスタンス化する。 バニラ $s$-sparsity の場合、重いテールと $eta$-corruption の下で $slog (d)/n$ レートに達することができます。
  論文  参考訳（メタデータ） (2022-08-10T17:00:41Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• Convergence of Online Adaptive and Recurrent Optimization Algorithms [0.0]
  我々は、機械学習で使用されるいくつかの顕著な降下アルゴリズムの局所収束を証明した。 我々は確率的視点ではなく「エルゴディック」を採用し、確率分布の代わりに経験的な時間平均で作業する。
  論文  参考訳（メタデータ） (2020-05-12T09:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。