論文の概要: Verified Compositional Neuro-Symbolic Control for Stochastic Systems
with Temporal Logic Tasks
- arxiv url: http://arxiv.org/abs/2311.10863v1
- Date: Tue, 21 Nov 2023 06:15:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:01:40.963189
- Title: Verified Compositional Neuro-Symbolic Control for Stochastic Systems
with Temporal Logic Tasks
- Title（参考訳）: 時間的論理課題を伴う確率システムに対する構成的ニューロシンボリック制御の検証
- Authors: Jun Wang, Kaiyuan Tan, Zihe Sun, Yiannis Kantaros
- Abstract要約: 自律エージェントのためのニューラルネットワーク(NN)コントローラを学ぶために、最近いくつかの方法が提案されている。
これらのアプローチにおける重要な課題は、しばしば安全保証が欠如しているか、提供された保証が現実的でないことである。
本稿では,訓練されたNNコントローラの時間的構成が存在するかどうかを確認することで,この問題に対処することを目的とする。
- 参考スコア（独自算出の注目度）: 11.614036749291216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several methods have been proposed recently to learn neural network (NN)
controllers for autonomous agents, with unknown and stochastic dynamics, tasked
with complex missions captured by Linear Temporal Logic (LTL). Due to the
sample-inefficiency of the majority of these works, compositional learning
methods have been proposed decomposing the LTL specification into smaller
sub-tasks. Then, separate controllers are learned and composed to satisfy the
original task. A key challenge within these approaches is that they often lack
safety guarantees or the provided guarantees are impractical. This paper aims
to address this challenge. Particularly, we consider autonomous systems with
unknown and stochastic dynamics and LTL-encoded tasks. We assume that the
system is equipped with a finite set of base skills modeled by trained NN
feedback controllers. Our goal is to check if there exists a temporal
composition of the trained NN controllers - and if so, to compute it - that
will yield a composite system behavior that satisfies the assigned LTL task
with probability one. We propose a new approach that relies on a novel
integration of automata theory and data-driven reachability analysis tools for
NN-controlled stochastic systems. The resulting neuro-symbolic controller
allows the agent to generate safe behaviors for unseen complex temporal logic
tasks in a zero-shot fashion by leveraging its base skills. We show correctness
of the proposed method and we provide conditions under which it is complete. To
the best of our knowledge, this is the first work that designs verified
temporal compositions of NN controllers for unknown and stochastic systems.
Finally, we provide extensive numerical simulations and hardware experiments on
robot navigation tasks to demonstrate the proposed method.
- Abstract（参考訳）: 最近、LTL(Linear Temporal Logic)によって捕獲された複雑なミッションをタスクとする未知の確率力学を持つ自律エージェントのためのニューラルネットワーク(NN)コントローラを学習するいくつかの方法が提案されている。
これらの作品の大半のサンプル非効率のため、ltl仕様をより小さなサブタスクに分解する構成学習手法が提案されている。
そして、別個のコントローラを学習し、元のタスクを満たすように構成する。
これらのアプローチにおける重要な課題は、しばしば安全保証が欠如しているか、提供された保証が現実的でないことである。
本稿では,この問題に対処することを目的とする。
特に,未知の確率ダイナミクスとltlエンコードされたタスクを持つ自律システムを考える。
本システムは,訓練されたNNフィードバックコントローラによってモデル化されたベーススキルの有限セットを備えていると仮定する。
当社の目標は、トレーニングされたnnコントローラの時間的構成が存在するかどうかをチェックすることで、割り当てられたltlタスクを確率1で満足する複合システムの振る舞いを発生させることです。
本稿では,nn制御確率システムのためのオートマトン理論とデータ駆動到達可能性解析ツールの新しい統合手法を提案する。
結果として得られるニューロシンボリックコントローラは、エージェントがベースとなるスキルを活用することによって、知覚できない複雑な時相論理タスクの安全な振る舞いをゼロショット方式で生成することができる。
提案手法の正当性を示し,提案手法が完成する条件を提供する。
我々の知る限りでは、未知および確率的なシステムのためにNNコントローラの時間的構成を検証した最初の作品である。
最後に,ロボットナビゲーションタスクに関する広範な数値シミュレーションとハードウェア実験を行い,提案手法を実証する。
関連論文リスト
- Lyapunov-stable Neural Control for State and Output Feedback: A Novel Formulation [67.63756749551924]
学習ベースのニューラルネットワーク(NN)制御ポリシは、ロボット工学と制御の幅広いタスクにおいて、印象的な経験的パフォーマンスを示している。
非線形力学系を持つNNコントローラのトラクション領域(ROA)に対するリアプノフ安定性の保証は困難である。
我々は、高速な経験的ファルシフィケーションと戦略的正則化を用いて、Lyapunov証明書とともにNNコントローラを学習するための新しいフレームワークを実証する。
論文 参考訳（メタデータ） (2024-04-11T17:49:15Z) - Scaling Learning based Policy Optimization for Temporal Logic Tasks by Controller Network Dropout [4.421486904657393]
非線形環境下で動作する自律エージェントに対して,フィードバックコントローラを訓練するためのモデルに基づくアプローチを提案する。
この学習問題は、エージェントのタスク目標の時間的地平線に比例して繰り返し単位の数が比例する、リカレントニューラルネットワーク(RNN)のトレーニングとどのように似ているかを示す。
そこで我々は,ドロップアウトあるいは勾配サンプリングのアイデアに基づく新しい勾配近似アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-23T12:53:51Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - Mission-driven Exploration for Accelerated Deep Reinforcement Learning
with Temporal Logic Task Specifications [11.812602599752294]
未知の構造を持つ環境で動作している未知のダイナミクスを持つロボットについて考察する。
我々の目標は、オートマトン符号化されたタスクを満足する確率を最大化する制御ポリシーを合成することである。
そこで本研究では,制御ポリシーを類似手法と比較して顕著に高速に学習できるDRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Learning Robust and Correct Controllers from Signal Temporal Logic
Specifications Using BarrierNet [5.809331819510702]
我々は,STL定量的セマンティクスを利用して,ロバスト満足度の概念を定義した。
本研究では,STLのフラグメント内の式を満足させる訓練可能な高次制御バリア関数(HOCBF)を構築する。
我々は、他のニューラルネットワークパラメータとともにHOCBFをトレーニングし、コントローラの堅牢性をさらに向上させる。
論文 参考訳（メタデータ） (2023-04-12T21:12:15Z) - STL-Based Synthesis of Feedback Controllers Using Reinforcement Learning [8.680676599607125]
深層強化学習(DRL)は、未知の力学を持つ様々な複雑なシステムに対するフィードバックコントローラ(エージェント)の合成に使用される可能性がある。
RLでは、報酬関数はこれらのエージェントの望ましい振る舞いを特定する上で重要な役割を果たす。
信号時間論理(STL)の量的意味論を用いて,リアルタイムに報酬を生成する体系的な方法を提案する。
我々は,STLに基づく強化学習機構をいくつかの複雑な連続制御ベンチマーク上で評価し,STLのセマンティクスと文献で利用可能なセマンティクスを,制御エージェントの合成における有効性の観点から比較した。
論文 参考訳（メタデータ） (2022-12-02T08:31:46Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Provably Safe Model-Based Meta Reinforcement Learning: An
Abstraction-Based Approach [3.569867801312134]
本研究では,不確実な非線形力学系に対して,確実に安全なニューラルネットワーク(NN)コントローラをトレーニングする問題を考察する。
私たちのアプローチは、トレーニングフェーズ中にNNコントローラのセットを学ぶことです。
タスクが実行時に利用可能になると、我々のフレームワークはこれらのNNコントローラのサブセットを慎重に選択し、最終的なNNコントローラを構成する。
論文 参考訳（メタデータ） (2021-09-03T00:38:05Z) - Learning to Control PDEs with Differentiable Physics [102.36050646250871]
本稿では,ニューラルネットワークが長い時間をかけて複雑な非線形物理系の理解と制御を学べる新しい階層型予測器・相関器手法を提案する。
本手法は,複雑な物理系の理解に成功し,PDEに関わるタスクに対してそれらを制御できることを実証する。
論文 参考訳（メタデータ） (2020-01-21T11:58:41Z) - Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。
このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文 参考訳（メタデータ） (2019-02-02T20:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。