論文の概要: When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL

• arxiv url: http://arxiv.org/abs/2406.01163v3
• Date: Wed, 30 Oct 2024 18:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:03.953426
• Title: When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL
• Title（参考訳）: 感覚と制御 : 連続時間RLの時間適応的アプローチ
• Authors: Lenart Treven, Bhavya Sukhija, Yarden As, Florian Dörfler, Andreas Krause,
• Abstract要約: 離散時間マルコフ決定過程(MDP)の最適化における強化学習(RL)の特長 この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を形式化する。 我々は、TaCoSで訓練された最先端のRLアルゴリズムが、その離散時間に対する相互作用量を劇的に削減できることを実証した。
• 参考スコア（独自算出の注目度）: 37.58940726230092
• License:
• Abstract: Reinforcement learning (RL) excels in optimizing policies for discrete-time Markov decision processes (MDP). However, various systems are inherently continuous in time, making discrete-time MDPs an inexact modeling choice. In many applications, such as greenhouse control or medical treatments, each interaction (measurement or switching of action) involves manual intervention and thus is inherently costly. Therefore, we generally prefer a time-adaptive approach with fewer interactions with the system. In this work, we formalize an RL framework, Time-adaptive Control & Sensing (TaCoS), that tackles this challenge by optimizing over policies that besides control predict the duration of its application. Our formulation results in an extended MDP that any standard RL algorithm can solve. We demonstrate that state-of-the-art RL algorithms trained on TaCoS drastically reduce the interaction amount over their discrete-time counterpart while retaining the same or improved performance, and exhibiting robustness over discretization frequency. Finally, we propose OTaCoS, an efficient model-based algorithm for our setting. We show that OTaCoS enjoys sublinear regret for systems with sufficiently smooth dynamics and empirically results in further sample-efficiency gains.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、離散時間マルコフ決定プロセス(MDP)のポリシーの最適化に優れる。 しかし、様々なシステムは本質的に連続しているため、離散時間 MDP は不正確なモデリング選択となる。 温室効果ガスや医療などの多くの応用において、それぞれの相互作用(行動の測定や切り替え)には手動による介入が伴うため、本質的にコストがかかる。 したがって,システムとのインタラクションが少ない時間適応型アプローチが一般的である。 本研究では,この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を定式化した。 我々の定式化により、任意の標準RLアルゴリズムが解ける拡張MDPが得られる。 我々は,TaCoSでトレーニングした最先端のRLアルゴリズムが,同一あるいは改善された性能を維持しつつ,離散時間に対する相互作用量を劇的に削減し,離散化周波数よりも堅牢性を示すことを示した。 最後に,OTaCoSを提案する。 我々は,OTaCoSが十分にスムーズな力学を持つシステムに対して,サブリニアな後悔を味わうことを示し,さらにサンプル効率が向上することを示した。

関連論文リスト

• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
  可変制御率を持つ強化学習(RL)の変種を提案する。 このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。 ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
  論文  参考訳（メタデータ） (2024-01-17T15:40:11Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Actor-Critic with variable time discretization via sustained actions [0.0]
  SusACERは、異なる時間離散化設定の利点を組み合わせた、非政治強化学習アルゴリズムである。 ロボット制御環境における時間偏差変化の影響を解析する:Ant, HalfCheetah, Hopper, Walker2D。
  論文  参考訳（メタデータ） (2023-08-08T14:45:00Z)
• Dynamic Decision Frequency with Continuous Options [11.83290684845269]
  古典的な強化学習アルゴリズムでは、エージェントは離散時間と一定時間間隔で決定を行う。 本研究では,連続時間連続オプティオン(CTCO)と呼ばれるフレームワークを提案する。 本研究では,環境相互作用の周波数選択の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2022-12-06T19:51:12Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Finite-time System Identification and Adaptive Control in Autoregressive Exogenous Systems [79.67879934935661]
  未知のARXシステムのシステム識別と適応制御の問題について検討する。 我々は,オープンループとクローズループの両方のデータ収集の下で,ARXシステムに対する有限時間学習保証を提供する。
  論文  参考訳（メタデータ） (2021-08-26T18:00:00Z)
• Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
  時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。 ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。 イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
  論文  参考訳（メタデータ） (2020-06-16T05:51:25Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。