論文の概要: Revisiting Overestimation Bias Problem of Q-learning: Settling Large Discrete Action Space via Action Intersection

• arxiv url: http://arxiv.org/abs/2608.12912v1
• Date: Thu, 13 Aug 2026 07:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.431787
• Title: Revisiting Overestimation Bias Problem of Q-learning: Settling Large Discrete Action Space via Action Intersection
• Title（参考訳）: Q-ラーニングにおける過大評価バイアス問題の再考:アクション・インターセクションによる大規模離散行動空間の設定
• Abstract要約: 本稿では,大規模行動空間の設定におけるQ-ラーニングの過大評価バイアス問題について考察する。 大規模行動空間はQ値推定におけるランダム性を増加させる。
• 参考スコア（独自算出の注目度）: 26.176864188753484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the overestimation bias problem of Q-learning in the setting of a large action space, for the purpose of relieving the bottleneck of existing methods. We find that the large action space increases the randomness in Q-value estimation. The randomness makes two paradigms that drive the major literature on the overestimation problem have their own bottlenecks: the coupling paradigm, i.e., the optimal action and its Q-value are estimated with the same Q-function, always has a positive bias. This is because randomness leads to some actions having abnormally high estimated values than their true values, and the coupling methods prefer these actions. The decoupling paradigm, i.e., the optimal action and its Q-value are estimated with two independent Q-functions, always has a negative bias. This is because randomness increases the estimation gap between the two independent Q-tables for the same action. This paper shows that action intersection can be a simple yet powerful strategy to relieve these bottlenecks. The action intersection strategy enables semi-decoupling via two designs: (1) it allows two Q-functions to share a certain fraction of trajectory data; (2) if a data sample is shared, each Q-function is updated using the coupling paradigm; otherwise, using the decoupling paradigm. Two properties make the action intersection strategy powerful: (1) attaining a large bias range, i.e., varying the data sharing fraction, the estimation bias varies from underestimating to overestimating; (2) fine granularity: the action intersection size can be made arbitrarily finer to enable finer control. We consider two experiment settings, i.e., tabular and deep RL, deep RL experiments show that our method outperforms several SOTA baselines drastically; tabular experiments reveal why our method can achieve superior performance.
• Abstract（参考訳）: 本稿では,既存の手法のボトルネックを緩和するために,大規模行動空間の設定におけるQ-ラーニングの過大評価バイアス問題を考察する。 大規模行動空間はQ値推定におけるランダム性を増加させる。 ランダム性は、過大評価問題に関する主要な文献を駆動する2つのパラダイムを、それぞれ独自のボトルネックを持つ: 結合パラダイム、すなわち、最適作用とそのQ値は同じQ-関数で推定され、常に正のバイアスを持つ。 これは、ランダム性が真の値よりも異常に高い推定値を持ついくつかの行動を引き起こすためであり、結合法はこれらの行動を好むためである。 疎結合パラダイム、すなわち、最適作用とそのQ値は、2つの独立したQ-函数で推定され、常に負のバイアスを持つ。 これは、ランダム性は同じ作用に対して2つの独立したQテーブル間の推定ギャップを増大させるためである。 本稿では,これらのボトルネックを緩和するために,アクション・交差点がシンプルかつ強力な戦略であることを示す。 作用交叉戦略は,(1)2つのQ-関数の軌道データの一部の共有を可能にする,(2)データサンプルが共有された場合,各Q-関数を結合パラダイムを用いて更新する,という2つの設計による半疎結合を可能にする。 2つの特性により、(1)大きなバイアス範囲、すなわちデータ共有率の変化、推定バイアスの過小評価から過大評価への変化、(2)細かい粒度:アクション交叉サイズを任意に微細化し、より細かい制御を可能にする。 表層実験と深部実験の2つの実験条件,すなわち表層実験と深部RL実験は,本手法がSOTAベースラインを劇的に上回っていることを示す。

関連論文リスト

• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback [31.115084475673793]
  アンサンブル法はQ-ラーニングにおける過大評価問題を緩和するための有望な方法である。 推定バイアスはアンサンブルサイズに大きく依存していることが知られている。 本研究では, (a) アンサンブルサイズを柔軟に制御するためのフィードバックとなる近似誤差特性と, (b) 推定バイアスを最小化するためのアンサンブルサイズ適応の2つの重要なステップを考案する。
  論文  参考訳（メタデータ） (2023-06-20T22:06:14Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data [1.6099403809839032]
  この論文で示された変種であるDual-sPLSは、古典的なPLS1アルゴリズムを一般化する。 正確な予測と効率的な解釈のバランスを提供する。 コードはRでオープンソースパッケージとして提供される。
  論文  参考訳（メタデータ） (2023-01-17T21:50:35Z)
• Double logistic regression approach to biased positive-unlabeled data [3.6594988197536344]
  後続確率と確率スコア関数の結合推定問題に対するパラメトリックなアプローチを考察する。 そこで本研究では, 交互表現に基づく最大解法と2番目の解法という, 2つの推定手法を提案する。 実験の結果,提案手法は期待最大化方式に基づく既存手法と同等か優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-16T08:32:53Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。