論文の概要: Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control
- arxiv url: http://arxiv.org/abs/2408.10970v1
- Date: Tue, 20 Aug 2024 16:02:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 12:35:03.916913
- Title: Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control
- Title（参考訳）: 階層的計画と制御のための創発的記述を支援するハイブリッドリカレントモデル
- Authors: Poppy Collis, Ryan Singh, Paul F Kinghorn, Christopher L Buckley,
- Abstract要約: リカレントスイッチング線形力学系(rSLDS)として知られるハイブリッド状態空間モデルのクラスは、意味のある振る舞い単位を発見する。
我々は、rSLDSによって形成されたリッチな表現は、計画と制御に有用な抽象化を提供することができると提案する。
本稿では,低レベル線形二乗制御器上に離散型MDPを配置する,アクティブ推論にインスパイアされた新しい階層型モデルベースアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.8749675983608172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An open problem in artificial intelligence is how systems can flexibly learn discrete abstractions that are useful for solving inherently continuous problems. Previous work has demonstrated that a class of hybrid state-space model known as recurrent switching linear dynamical systems (rSLDS) discover meaningful behavioural units via the piecewise linear decomposition of complex continuous dynamics (Linderman et al., 2016). Furthermore, they model how the underlying continuous states drive these discrete mode switches. We propose that the rich representations formed by an rSLDS can provide useful abstractions for planning and control. We present a novel hierarchical model-based algorithm inspired by Active Inference in which a discrete MDP sits above a low-level linear-quadratic controller. The recurrent transition dynamics learned by the rSLDS allow us to (1) specify temporally-abstracted sub-goals in a method reminiscent of the options framework, (2) lift the exploration into discrete space allowing us to exploit information-theoretic exploration bonuses and (3) `cache' the approximate solutions to low-level problems in the discrete planner. We successfully apply our model to the sparse Continuous Mountain Car task, demonstrating fast system identification via enhanced exploration and non-trivial planning through the delineation of abstract sub-goals.
- Abstract（参考訳）: 人工知能におけるオープンな問題は、システムが本質的に連続的な問題を解決するのに有用な離散的な抽象化を柔軟に学習する方法である。
従来の研究は、リカレントスイッチング線形力学系(rSLDS)として知られるハイブリッド状態空間モデルが、複素連続力学の断片的な線形分解を通して意味のある振る舞い単位を発見することを示した(Linderman et al , 2016)。
さらに、基礎となる連続状態がこれらの離散モードスイッチを駆動する方法をモデル化する。
我々は、rSLDSによって形成されたリッチな表現は、計画と制御に有用な抽象化を提供することができると提案する。
本稿では,低レベル線形二乗制御器上に離散型MDPを配置する,アクティブ推論に着想を得た新しい階層型モデルベースアルゴリズムを提案する。
rSLDSで学習した繰り返し遷移ダイナミクスは,(1)オプションフレームワークを連想させる手法で,時間的に制約されたサブゴールを指定し,(2)情報理論的な探索ボーナスを活用できるように,(2)離散空間への探索を解除し,(3)離散プランナーの低レベル問題に対する近似解を「キャッシュ」することを可能にする。
提案手法を連続マウンテンカータスクに適用し,探索の強化による高速なシステム識別と,抽象的なサブゴールの展開による非自明な計画の実証に成功している。
関連論文リスト
- Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization [72.81319836138347]
オンライン連続学習(OCL)は、以前に学習したタスクの知識を保持しながら、一度だけ現れるデータストリームから新しいタスクを学習することを目指している。
既存の方法の多くはリプレイに依存しており、正規化や蒸留によるメモリ保持の強化に重点を置いている。
既存のほとんどのメソッドに組み込むことができ、適応性を直接改善できるプラグイン・アンド・プレイモジュールであるS6MODを導入する。
論文 参考訳（メタデータ） (2024-12-24T05:25:21Z) - Learning in Hybrid Active Inference Models [0.8749675983608172]
本稿では,高レベル離散型アクティブ・推論・プランナを低レベル連続型アクティブ・推論・コントローラの上に置く階層型ハイブリッド・アクティブ・推論・エージェントを提案する。
我々は、意味のある離散表現のエンドツーエンド学習を実装する線形力学系をリカレントに切り替えるという最近の研究を活用している。
当社のモデルを,探索と計画成功による高速なシステム識別を実証し,スパースな連続マウンテンカータスクに適用する。
論文 参考訳（メタデータ） (2024-09-02T08:41:45Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
本稿では,自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
これらの課題に対処するため、我々は自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
論文 参考訳（メタデータ） (2024-06-08T10:12:00Z) - Tensor Decompositions Meet Control Theory: Learning General Mixtures of
Linear Dynamical Systems [19.47235707806519]
テンソル分解に基づく線形力学系の混合を学習するための新しいアプローチを提案する。
このアルゴリズムは, 成分の分離条件が強くないまま成功し, 軌道のベイズ最適クラスタリングと競合することができる。
論文 参考訳（メタデータ） (2023-07-13T03:00:01Z) - Self-Supervised Reinforcement Learning that Transfers using Random
Features [41.00256493388967]
本研究では,タスク間の行動の伝達を,報酬の異なる自己指導型強化学習手法を提案する。
我々の手法は、報奨ラベルなしでオフラインデータセットでトレーニングできるが、新しいタスクに素早くデプロイできるという自己教師型である。
論文 参考訳（メタデータ） (2023-05-26T20:37:06Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Linearization and Identification of Multiple-Attractors Dynamical System
through Laplacian Eigenmaps [8.161497377142584]
速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。
部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。
我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
論文 参考訳（メタデータ） (2022-02-18T12:43:25Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳（メタデータ） (2021-10-24T08:57:46Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳（メタデータ） (2021-02-24T01:11:25Z) - Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。
本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。
本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
論文 参考訳（メタデータ） (2020-10-08T07:02:47Z) - Hierarchical Decomposition of Nonlinear Dynamics and Control for System
Identification and Policy Distillation [39.83837705993256]
強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。
制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
論文 参考訳（メタデータ） (2020-05-04T12:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。