論文の概要: Decoupling regularization from the action space

• arxiv url: http://arxiv.org/abs/2406.05953v1
• Date: Mon, 10 Jun 2024 01:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 15:16:08.526178
• Title: Decoupling regularization from the action space
• Title（参考訳）: アクション空間からの正規化の分離
• Authors: Sobhan Mohammadpour, Emma Frejinger, Pierre-Luc Bacon,
• Abstract要約: 正規化強化学習(RL)は最適制御および逆RLにおいて牽引力を得ている。 本稿では,正則化の一貫したレベルを維持するために,正則化器を動作空間から切り離すことの重要性を示す。 静的温度選択法と動的対向法という2つの解を導入し、この問題が発生した場合に普遍的に適用する。
• 参考スコア（独自算出の注目度）: 8.1109787273644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularized reinforcement learning (RL), particularly the entropy-regularized kind, has gained traction in optimal control and inverse RL. While standard unregularized RL methods remain unaffected by changes in the number of actions, we show that it can severely impact their regularized counterparts. This paper demonstrates the importance of decoupling the regularizer from the action space: that is, to maintain a consistent level of regularization regardless of how many actions are involved to avoid over-regularization. Whereas the problem can be avoided by introducing a task-specific temperature parameter, it is often undesirable and cannot solve the problem when action spaces are state-dependent. In the state-dependent action context, different states with varying action spaces are regularized inconsistently. We introduce two solutions: a static temperature selection approach and a dynamic counterpart, universally applicable where this problem arises. Implementing these changes improves performance on the DeepMind control suite in static and dynamic temperature regimes and a biological sequence design task.
• Abstract（参考訳）: 正規化強化学習(RL)、特にエントロピー規則化学習は、最適制御および逆RLにおいて牽引力を高めている。 標準の非正規化RL法は, 動作数の変化の影響を受けていないが, 正則化RL法に深刻な影響を及ぼす可能性が示唆された。 本稿では,レギュレータをアクション空間から分離することの重要性を示す。すなわち,過剰なレギュレータ化を回避するためのアクションの数に関係なく,一貫したレギュレータレベルを維持すること。 タスク固有の温度パラメータを導入することで問題を回避することができるが、多くの場合は望ましくないものであり、アクション空間が状態依存である場合には解決できない。 状態依存のアクションコンテキストでは、異なるアクション空間を持つ異なる状態が整合的に正規化される。 静的温度選択法と動的対向法という2つの解を導入し、この問題が発生した場合に普遍的に適用する。 これらの変更を実装することで、静的および動的温度条件におけるDeepMindコントロールスイートのパフォーマンスと、生物学的シーケンス設計タスクが改善される。

関連論文リスト

• When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL [37.58940726230092]
  離散時間マルコフ決定過程(MDP)の最適化における強化学習(RL)の特長 この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を形式化する。 我々は、TaCoSで訓練された最先端のRLアルゴリズムが、その離散時間に対する相互作用量を劇的に削減できることを実証した。
  論文  参考訳（メタデータ） (2024-06-03T09:57:18Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
  ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。 ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
  論文  参考訳（メタデータ） (2024-02-07T11:11:46Z)
• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)
• On Controller Tuning with Time-Varying Bayesian Optimization [74.57758188038375]
  制御対象とその変更に関する適切な事前知識を用いて、時間変化最適化(TVBO)を用いて、変更環境におけるコントローラのオンラインチューニングを行う。 本研究では,不確実性注入(UI)を用いたTVBO戦略を提案する。 我々のモデルはTVBOの最先端手法よりも優れており、後悔の軽減と不安定なパラメータ構成の低減を実現している。
  論文  参考訳（メタデータ） (2022-07-22T14:54:13Z)
• Learning Solution Manifolds for Control Problems via Energy Minimization [32.59818752168615]
  様々な制御タスクは一般にエネルギー最小化問題として定式化されている。 このような問題に対する数値解は十分に確立されているが、しばしばリアルタイムアプリケーションで直接使用されるには遅すぎる。 本稿では,効率的かつ数値的に堅牢な行動クローニング(BC)の代替手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T14:28:57Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Addressing Action Oscillations through Learning Policy Inertia [26.171039226334504]
  Policy Inertia Controller (PIC) は、既製のDRLアルゴリズムの汎用的なプラグインフレームワークとして機能する。 PIC強化政策の一般的なトレーニングアルゴリズムとしてNested Policy Iterationを提案する。 DRLアルゴリズム、すなわちNested Soft Actor-Criticを導出する。
  論文  参考訳（メタデータ） (2021-03-03T09:59:43Z)
• Bottom-Up Temporal Action Localization with Mutual Regularization [107.39785866001868]
  TALの最先端の解決策は、3つの行動指示相のフレームレベルの確率を評価することである。 学習手順を相互に規則化するための2つの規則化用語を導入する。 実験は2つの人気のTALデータセット、THUMOS14とActivityNet1.3で行われている。
  論文  参考訳（メタデータ） (2020-02-18T03:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。