論文の概要: Q($γ_H$): Entropy-Guided Horizon Mixing in Multi-Discount Q-Learning

• arxiv url: http://arxiv.org/abs/2610.21764v1
• Date: Thu, 15 Oct 2026 12:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.063743
• Title: Q($γ_H$): Entropy-Guided Horizon Mixing in Multi-Discount Q-Learning
• Title（参考訳）: Q($γ_H$):マルチディスクQ-ラーニングにおけるエントロピー誘導水平混合
• Abstract要約: Q-ラーニングにおける固定割引係数は、早期探索と長期クレジット割り当ての異なる要求にもかかわらず、トレーニング全体を通して単一の計画的地平を課している。 本稿では,マルチ水平Q-ラーニングフレームワークであるQ($_H$)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fixed discount factor in Q-learning imposes a single planning horizon throughout training, despite the differing demands of early exploration and long-term credit assignment. We propose Q($γ_H$), a multi-horizon Q-learning framework that maintains multiple discount-specific heads and adaptively combines them at control time using an entropy-derived confidence signal. The resulting state-dependent mixing weights shift control from shorter- to longer-horizon heads as policy confidence increases, enabling adaptive horizon mixing without modifying individual Bellman updates. Across classical control and deep reinforcement-learning benchmarks, Q($γ_H$) shows its strongest improvements on delayed-credit tasks relative to strong fixed-discount baselines. By decoupling horizon adaptation from the underlying learning updates, Q($γ_H$) provides a lightweight framework for adaptive planning-horizon control in reinforcement learning, avoiding the need for manual discount-factor selection while remaining compatible with standard value-learning methods.
• Abstract（参考訳）: Q-ラーニングにおける固定割引係数は、早期探索と長期クレジット割り当ての異なる要求にもかかわらず、トレーニング全体を通して単一の計画的地平を課している。 マルチ水平Q-ラーニングフレームワークであるQ($γ_H$)を提案する。 その結果、政策の信頼度が高まるにつれて、状態依存混合重みは短軸から長軸へと制御をシフトさせ、個別のベルマン更新を変更することなく適応的な水平混合を可能にする。 Q($γ_H$)は、古典的制御と深層強化学習ベンチマーク全体にわたって、強い固定ディスクベースラインに対する遅延クレディットタスクに対して、最も強力な改善を示している。 Q($γ_H$)は、地平線適応を基礎となる学習更新から切り離すことによって、強化学習における適応的計画水平制御のための軽量なフレームワークを提供する。

関連論文リスト

• Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
  本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。 本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。 本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
  論文  参考訳（メタデータ） (2026-09-28T06:43:22Z)
• Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning [12.008878527093364]
  マルチステップは、非政治強化学習における報酬の伝播を加速させるが、各決定の評価を、それに続く最適なログ化された行動に合わせることで、地平線に沿って成長する悲観的バイアスを誘発する。 本稿では, 対称な$n$-step temporal-difference (TD) 損失を, アクション値誤差の非対称な期待値損失に置き換える予測型$n$-step Q-learning (ENQ)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T10:30:56Z)
• Gated Q-learning: Add Off-Policy Bias to Taste [2.7074235008521246]
  Qラーニングにおける非政治バイアスの管理は、依然として根本的な課題である。 Gated Q-learningは、効果的なマルチステップ水平線のカスタマイズを可能にしながら、重要サンプリングの簡単な代替手段を提供する。 実証的な評価は、中間ゲーティングが安全により長いクレジット割り当て水平線を可能にすることを証明している。
  論文  参考訳（メタデータ） (2026-07-31T00:32:46Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning [20.424372965054832]
  EmphPhysics-informed (Pi) regularized loss for value learning, derived from the Eikonal partial Differential Equation (PDE)。 トレーニングを安定させるために主に用いられる一般的な勾配のペナルティとは異なり、我々の定式化は連続時間最適制御に基礎を置いており、コスト対ゴ構造に整合する値関数を奨励している。 提案した正規化器は時間差に基づく値学習と広く互換性があり、既存のオフラインGCRLアルゴリズムに統合できる。
  論文  参考訳（メタデータ） (2025-09-08T15:08:42Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Time-Scale Separation in Q-Learning: Extending TD($\triangle$) for Action-Value Function Decomposition [0.0]
  本稿では,Q-Learningフレームワーク用のTD($Delta$)の拡張であるQ($Delta$)-Learningを紹介する。 TD($Delta$)は、Q($Delta$)-函数を異なる割引因子に分解することで、複数の時間スケールでの効率的な学習を容易にする。 本稿では,従来のQ-LearningおよびTD学習手法よりもQ($Delta$)-Learningの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:03:07Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。