論文の概要: Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces

• arxiv url: http://arxiv.org/abs/2604.13780v1
• Date: Wed, 15 Apr 2026 12:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.522912
• Title: Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
• Title（参考訳）: ソフト$Q(λ)$: 可視性トレースを用いたエントロピー正規化強化学習のための多段階オフポリシー法
• Authors: Pranav Mahajan, Ben Seymour,
• Abstract要約: まず、ソフトQ-ラーニングのための公式な$n$-stepの定式化を提示し、その後、新しいソフトツリーバックアップ演算子を導入することで、このフレームワークを完全なオフ政治ケースに拡張する。 われわれはこれらの開発をSoft $Q()$にまとめる。これはエレガントなオンライン・オフ・ポリティクス・エクイティ・トレーサビリティ・トレーサリー・フレームワークで、任意の行動ポリシーの下で効率的なクレジット・アサインを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft Q-learning has emerged as a versatile model-free method for entropy-regularised reinforcement learning, optimising for returns augmented with a penalty on the divergence from a reference policy. Despite its success, the multi-step extensions of soft Q-learning remain relatively unexplored and limited to on-policy action sampling under the Boltzmann policy. In this brief research note, we first present a formal $n$-step formulation for soft Q-learning and then extend this framework to the fully off-policy case by introducing a novel Soft Tree Backup operator. Finally, we unify these developments into Soft $Q(λ)$, an elegant online, off-policy, eligibility trace framework that allows for efficient credit assignment under arbitrary behaviour policies. Our derivations propose a model-free method for learning entropy-regularised value functions that can be utilised in future empirical experiments.
• Abstract（参考訳）: ソフトQ-ラーニングは、エントロピー規則化された強化学習のための汎用的なモデルなし手法として登場し、基準ポリシからの逸脱に対するペナルティを付加したリターンを最適化している。 その成功にもかかわらず、ソフトQラーニングの多段階拡張は比較的未探索であり、ボルツマンの政策の下でのオンラインアクションサンプリングに限られている。 この簡単な研究ノートでは、まずソフトQ-ラーニングのための公式な$n$-stepの定式化を提示し、その後、新しいソフトツリーバックアップ演算子を導入して、完全にオフ政治のケースに拡張する。 最後に、これらの開発をSoft $Q(λ)$にまとめます。これはエレガントなオンライン、非政治、適格性トレースフレームワークで、任意の行動ポリシーの下で効率的なクレジット割り当てを可能にします。 我々の導出は、将来の実証実験で利用できるエントロピー規則値関数を学習するためのモデルフリーな手法を提案する。

関連論文リスト

• ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm [2.6813717321945103]
  より効率的な非政治データ利用による保守的オン・ポリティクス反復の安定性保証に基づく新しいPPO変種を提案する。 PPOと他の最先端の変種と比較して、バランスの取れたサンプル効率と各種タスクの安定性により、ExO-PPOの性能が向上することを示した。
  論文  参考訳（メタデータ） (2026-02-10T12:29:57Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Deep Learning and Elicitability for McKean-Vlasov FBSDEs With Common Noise [2.421459418045937]
  本稿では,McKean-Vlasov前方微分方程式(MV-FBSDEs)を一般雑音で解くための新しい数値解法を提案する。 重要なイノベーションは、パスワイズ損失関数の導出を可能にすることであり、ニューラルネットワークの効率的なトレーニングにより、一般的なノイズから生じる後方プロセスと条件予測の両方を近似することができる。 解析解が存在する銀行間貸借モデルを用いて,本アルゴリズムの有効性を検証し,真の解の正確な回復を実証する。
  論文  参考訳（メタデータ） (2025-12-16T23:39:31Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm [4.128216503196621]
  オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。 我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:53:02Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Greedy Multi-step Off-Policy Reinforcement Learning [14.720255341733413]
  そこで本研究では,ブートストラップ値の最大値を異なるステップでグリード的に取得するブートストラップ手法を提案する。 実験の結果,提案手法は信頼性が高く,実装が容易で,最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-02-23T14:32:20Z)
• Model-Augmented Q-learning [112.86795579978802]
  モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。 具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。 提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-07T17:56:50Z)
• Entropy-Augmented Entropy-Regularized Reinforcement Learning and a Continuous Path from Policy Gradient to Q-Learning [5.185562073975834]
  エントロピー増強が改革され、目的関数に追加のエントロピー項を導入するモチベーションがもたらされる。 結果として、現在の政策からソフトマックスグレディ政策に補間しながら、単調に改善する政策がもたらされる。
  論文  参考訳（メタデータ） (2020-05-18T16:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。