論文の概要: Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.03168v1
• Date: Fri, 03 Jul 2026 10:09:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.541997
• Title: Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
• Title（参考訳）: エントロピー規則化は継続的強化学習におけるポリシーロバスト性を改善する
• Abstract要約: 本稿では,エントロピー規則化された連続時間マルコフ決定過程に対する最初のロバスト性保証を確立する。 我々は、誘導されたロバスト集合を解析的に特徴付け、正則化強度で単調に拡張することを証明した。 待ち行列ネットワーク制御と市場形成の実験は、我々の理論を裏付けるものである。
• 参考スコア（独自算出の注目度）: 42.77878041827321
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Entropy regularization is widely used in continuous-time reinforcement learning (RL) to reduce sensitivity to environmental perturbations, yet its robustness benefits lack a rigorous theoretical foundation. This paper establishes the first robustness guarantees for entropy-regularized continuous-time Markov decision processes. We show that maximizing an entropy-regularized objective yields a lower bound on a worst-case robust RL problem with joint reward and transition perturbations. We analytically characterize the induced robust sets and prove that they expand monotonically with the regularization strength, justifying the empirical observation that stronger entropy improves robustness. In contrast to prior discrete-time analyses, our results remove the intractable state-distribution entropy term and provide guarantees invariant to action frequency. Experiments on queueing network control and market making confirm our theory, showing that entropy-regularized policies outperform greedy and $ε$-greedy baselines under dynamics perturbations.
• Abstract（参考訳）: エントロピー正則化は環境摂動に対する感受性を低減するために連続時間強化学習(RL)で広く用いられているが、その堅牢性は厳密な理論基盤を欠いている。 本稿では,エントロピー規則化された連続時間マルコフ決定過程に対する最初のロバスト性保証を確立する。 エントロピー規則化対象の最大化は、結合報酬と遷移摂動を伴う最悪のケースのロバストなRL問題に対して低い境界をもたらすことを示す。 我々は、誘導されたロバスト集合を解析的に特徴づけ、それらが正則化強度で単調に膨張することを証明し、強いエントロピーがロバスト性を改善するという経験的観察を正当化する。 従来の離散時間解析とは対照的に, 抽出可能な状態分布エントロピー項を除去し, 動作周波数に不変な保証を与える。 待ち行列ネットワーク制御と市場形成の実験により、エントロピー規則化されたポリシーは、動的摂動下でのgreedyおよび$ε$-greedyベースラインよりも優れていることが示された。

関連論文リスト

• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization [53.75029276020459]
  本研究では,エントロピー変化への寄与に応じて,エントロピー増加とエントロピー減少の更新を再スケールする適応的エントロピーフローバランス機構を提案する。 6つの数学的推論ベンチマークの実験は、OPEFOがトレーニングと最終的なパフォーマンスを改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T04:08:17Z)
• Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation [33.15281300187744]
  報酬を伴う強化学習は、大きな言語モデルの推論能力を進歩させてきた。 テキスト制限探索と呼ばれる限界に直面しており、この政策は急速に狭い解の集合に収束する。 我々は,肯定的および否定的なロールアウトの変調を明示的に分離する探索的フレームワークである textbfAsymGRPO を提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:42:38Z)
• A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning [3.002731187735679]
  強化学習(RL)は、大規模言語モデル(LLM)における推論の強化の鍵となるアプローチとなっている。 本稿では、従来のエントロピー正規化と、最近提案された共分散に基づくメカニズムの2つのエントロピー制御戦略の比較理論的解析を行う。
  論文  参考訳（メタデータ） (2026-04-02T18:52:59Z)
• Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
  本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。 このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。 我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
  論文  参考訳（メタデータ） (2025-10-25T09:17:47Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective [11.65148836911294]
  エントロピー崩壊は政策の多様性の急激な喪失であり、探検と爆発の不均衡から起因し、一般化の欠如につながっている。 最近のエントロピー・インターベンション法は、色覚エントロピーの崩壊を防ぐことを目的としているが、その基盤となるメカニズムは明らかになっていない。 エントロピー変化を考慮した再重み付け方式,すなわち,再重み付け(STEER)によるトークンレベルのエントロピーチェンジEの安定化を提案する。
  論文  参考訳（メタデータ） (2025-10-11T10:17:38Z)
• State Entropy Regularization for Robust Reinforcement Learning [49.08983925413188]
  状態エントロピー規則化は、構造的および空間的に相関した摂動に対するロバスト性を向上させることを示す。 このようなバリエーションは、伝達学習では一般的であるが、標準的な堅牢な強化学習法では見落とされがちである。
  論文  参考訳（メタデータ） (2025-06-08T11:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。