論文の概要: Scaling Learning based Policy Optimization for Temporal Logic Tasks by Controller Network Dropout
- arxiv url: http://arxiv.org/abs/2403.15826v2
- Date: Tue, 27 Aug 2024 22:18:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 20:59:10.307116
- Title: Scaling Learning based Policy Optimization for Temporal Logic Tasks by Controller Network Dropout
- Title(参考訳): コントローラネットワークのドロップアウトによる時間論理タスクのスケーリング学習に基づくポリシー最適化
- Authors: Navid Hashemi, Bardh Hoxha, Danil Prokhorov, Georgios Fainekos, Jyotirmoy Deshmukh,
- Abstract要約: 非線形環境下で動作する自律エージェントに対して,フィードバックコントローラを訓練するためのモデルに基づくアプローチを提案する。
この学習問題は、エージェントのタスク目標の時間的地平線に比例して繰り返し単位の数が比例する、リカレントニューラルネットワーク(RNN)のトレーニングとどのように似ているかを示す。
そこで我々は,ドロップアウトあるいは勾配サンプリングのアイデアに基づく新しい勾配近似アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 4.421486904657393
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces a model-based approach for training feedback controllers for an autonomous agent operating in a highly nonlinear (albeit deterministic) environment. We desire the trained policy to ensure that the agent satisfies specific task objectives and safety constraints, both expressed in Discrete-Time Signal Temporal Logic (DT-STL). One advantage for reformulation of a task via formal frameworks, like DT-STL, is that it permits quantitative satisfaction semantics. In other words, given a trajectory and a DT-STL formula, we can compute the {\em robustness}, which can be interpreted as an approximate signed distance between the trajectory and the set of trajectories satisfying the formula. We utilize feedback control, and we assume a feed forward neural network for learning the feedback controller. We show how this learning problem is similar to training recurrent neural networks (RNNs), where the number of recurrent units is proportional to the temporal horizon of the agent's task objectives. This poses a challenge: RNNs are susceptible to vanishing and exploding gradients, and na\"{i}ve gradient descent-based strategies to solve long-horizon task objectives thus suffer from the same problems. To tackle this challenge, we introduce a novel gradient approximation algorithm based on the idea of dropout or gradient sampling. One of the main contributions is the notion of {\em controller network dropout}, where we approximate the NN controller in several time-steps in the task horizon by the control input obtained using the controller in a previous training step. We show that our control synthesis methodology, can be quite helpful for stochastic gradient descent to converge with less numerical issues, enabling scalable backpropagation over long time horizons and trajectories over high dimensional state spaces.
- Abstract(参考訳): 本稿では,非非線形(決定論的)な環境下で動作する自律エージェントに対するフィードバックコントローラのトレーニングモデルに基づくアプローチを提案する。
我々は、エージェントが特定のタスク目標と安全制約を満たすことを保証するために、訓練されたポリシーを望んでおり、どちらも離散時間信号時論理(DT-STL)で表される。
DT-STLのような形式的なフレームワークによるタスクの再構成の利点の1つは、定量的なセマンティクスを可能にすることである。
言い換えれば、軌道とDT-STLの公式が与えられた場合、この公式を満たす軌跡と軌跡の集合の間のおよそ符号付き距離として解釈できる「レムロバストネス」を計算することができる。
フィードバック制御を利用し、フィードバック制御を学習するためにフィードフォワードニューラルネットワークを仮定する。
この学習問題は、エージェントのタスク目標の時間的地平線に比例して繰り返し単位の数が比例する、リカレントニューラルネットワーク(RNN)のトレーニングとどのように似ているかを示す。
このことは、RNNは勾配の消滅と爆発に感受性があり、na\"{i}ve 勾配降下に基づく戦略は、長い水平タスクの目的を解決するため、同じ問題に悩まされる。
この課題に対処するために、ドロップアウトや勾配サンプリングのアイデアに基づいた、新しい勾配近似アルゴリズムを導入する。
主なコントリビューションの1つが {\em controller network dropout} の概念であり、前回のトレーニングステップでコントローラを用いて得られた制御入力により、NNコントローラをタスク水平線の複数の時間ステップで近似する。
制御合成手法は,より少ない数値問題に収束する確率勾配降下に非常に役立ち,長期間の地平線上でのスケーラブルなバックプロパゲーションと高次元状態空間上でのトラジェクトリを実現することができることを示す。
関連論文リスト
- Exact Gradients for Stochastic Spiking Neural Networks Driven by Rough Signals [4.272515397452792]
事象不連続性を持つ微分方程式としてスパイキングニューラルネットワーク(SSNN)をモデル化するための数学的に厳密な枠組み(イベントSDE)を導入する。
我々の定式化は、解軌跡と駆動雑音の両方に潜在的なジャンプが現れるのに十分である。
我々のフレームワークは、我々の知る限り、スパイクタイミングとネットワークのダイナミクスの両方に影響を与えるノイズを伴うSSNNの勾配に基づくトレーニングを可能にする最初のものである。
論文 参考訳(メタデータ) (2024-05-22T12:34:04Z) - LTLDoG: Satisfying Temporally-Extended Symbolic Constraints for Safe Diffusion-based Planning [12.839846486863308]
本研究では,新しい静的かつ時間的に拡張された制約/命令に準拠する長い水平軌道を生成することに焦点を当てる。
本稿では,データ駆動拡散に基づくフレームワークを提案する。
ロボットナビゲーションと操作の実験では、障害物回避と訪問シーケンスを指定する公式を満たす軌道を生成することができる。
論文 参考訳(メタデータ) (2024-05-07T11:54:22Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳(メタデータ) (2021-06-17T02:40:18Z) - Trajectory Planning for Autonomous Vehicles Using Hierarchical
Reinforcement Learning [21.500697097095408]
不確実かつ動的条件下で安全な軌道を計画することは、自律運転問題を著しく複雑にする。
RRT(Rapidly Exploring Random Trees)のような現在のサンプリングベース手法は、高い計算コストのため、この問題には理想的ではない。
軌道計画のための階層型強化学習構造とPID(Proportional-Integral-Derivative)コントローラを提案する。
論文 参考訳(メタデータ) (2020-11-09T20:49:54Z) - Policy Gradient for Continuing Tasks in Non-stationary Markov Decision
Processes [112.38662246621969]
強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。
我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。
ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
論文 参考訳(メタデータ) (2020-10-16T15:15:42Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Continuous Motion Planning with Temporal Logic Specifications using Deep
Neural Networks [16.296473750342464]
動作計画問題に対する制御ポリシを合成するモデルフリー強化学習法を提案する。
ロボットは、連続状態と行動空間を持つ離散マルコフ時間決定プロセス(MDP)としてモデル化される。
我々は,アクタクリティカル強化学習法を用いて,価値関数とポリシーを近似するために,ディープニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2020-04-02T17:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。