論文の概要: Decision Transformer as a Foundation Model for Partially Observable Continuous Control

• arxiv url: http://arxiv.org/abs/2404.02407v1
• Date: Wed, 3 Apr 2024 02:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:49:24.883243
• Title: Decision Transformer as a Foundation Model for Partially Observable Continuous Control
• Title（参考訳）: 部分観測可能な連続制御の基礎モデルとしての決定変換器
• Authors: Xiangyuan Zhang, Weichao Mao, Haoran Qiu, Tamer Başar,
• Abstract要約: 決定変換器(DT)アーキテクチャは、過去の観測、行動、報酬に基づいて最適な行動を予測するために使用される。 DTは、全く新しいタスクに対して驚くべきゼロショットの一般化能力を示す。 これらの知見は、一般的な制御アプリケーションの基本制御系としてのDTの可能性を示している。
• 参考スコア（独自算出の注目度）: 5.453548045211778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Closed-loop control of nonlinear dynamical systems with partial-state observability demands expert knowledge of a diverse, less standardized set of theoretical tools. Moreover, it requires a delicate integration of controller and estimator designs to achieve the desired system behavior. To establish a general controller synthesis framework, we explore the Decision Transformer (DT) architecture. Specifically, we first frame the control task as predicting the current optimal action based on past observations, actions, and rewards, eliminating the need for a separate estimator design. Then, we leverage the pre-trained language models, i.e., the Generative Pre-trained Transformer (GPT) series, to initialize DT and subsequently train it for control tasks using low-rank adaptation (LoRA). Our comprehensive experiments across five distinct control tasks, ranging from maneuvering aerospace systems to controlling partial differential equations (PDEs), demonstrate DT's capability to capture the parameter-agnostic structures intrinsic to control tasks. DT exhibits remarkable zero-shot generalization abilities for completely new tasks and rapidly surpasses expert performance levels with a minimal amount of demonstration data. These findings highlight the potential of DT as a foundational controller for general control applications.
• Abstract（参考訳）: 部分状態可観測性を持つ非線形力学系の閉ループ制御は、多種多様な、あまり標準化されていない理論ツールの知識を必要とする。 さらに、所望のシステム動作を達成するためには、コントローラと推定器の設計を微妙に統合する必要がある。 一般的なコントローラ合成フレームワークを確立するために,Decision Transformer (DT) アーキテクチャについて検討する。 具体的には、制御タスクを、過去の観測、行動、報奨に基づいて現在の最適動作を予測するものであり、別個の推定器設計の必要性を排除している。 次に、事前学習された言語モデル、すなわち、生成事前学習トランスフォーマー(GPT)シリーズを活用してDTを初期化し、低ランク適応(LoRA)を用いて制御タスクにトレーニングする。 航空システムの操作から偏微分方程式 (PDE) の制御に至るまで, 5つの異なる制御課題を対象とした総合的な実験を行い, 制御課題に固有のパラメータ非依存構造を捕捉するDTの能力を実証した。 DTは完全に新しいタスクに対して驚くべきゼロショットの一般化能力を示し、最小限のデモデータで専門家のパフォーマンスレベルを急速に上回ります。 これらの知見は、一般的な制御アプリケーションの基本制御系としてのDTの可能性を示している。

関連論文リスト

• ReACT: Reinforcement Learning for Controller Parametrization using B-Spline Geometries [0.0]
  本研究は,N次元B-スプライン測地(BSG)を用いた深部強化学習(DRL)を用いた新しいアプローチを提案する。 本稿では,操作条件に依存する複雑な振る舞いを持つシステムのクラスであるパラメータ変量システムの制御に焦点をあてる。 多数の動作条件に依存するコントローラパラメータをマッピングするために,BSGを導入し,適応処理をより効率的にする。
  論文  参考訳（メタデータ） (2024-01-10T16:27:30Z)
• TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
  本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。 低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。 インタラクティブで高品質なアニメーション生成には実用的である。
  論文  参考訳（メタデータ） (2023-11-28T18:54:16Z)
• Fine-Tuning Language Models Using Formal Methods Feedback [53.24085794087253]
  我々は、自律システムにおけるアプリケーションのための、微調整済み言語モデルに対して、完全に自動化されたアプローチを提案する。 本手法は,自然言語タスク記述による事前学習モデルから自動制御器を合成する。 その結果、コントローラが満たした仕様の割合が60%から90%に改善したことが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T16:24:24Z)
• SMART: Self-supervised Multi-task pretrAining with contRol Transformers [34.604339091596884]
  自己指導型事前訓練は言語と視覚領域で広く研究されている。 シーケンシャルな意思決定タスクのための事前学習アプローチを適切に設計することは困難である。 逐次意思決定のための一般的な事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-24T05:01:23Z)
• Designing a Robust Low-Level Agnostic Controller for a Quadrotor with Actor-Critic Reinforcement Learning [0.38073142980732994]
  ソフトアクター・クリティカルに基づく低レベルウェイポイント誘導制御器の訓練段階におけるドメインランダム化を提案する。 トレーニング中の四元数力学に一定の不確実性を導入することにより、より大規模な四元数パラメータを用いて提案課題を実行することができる制御器が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-06T14:58:19Z)
• Performance-Driven Controller Tuning via Derivative-Free Reinforcement Learning [6.5158195776494]
  我々は,新しい微分自由強化学習フレームワークを用いて,制御器のチューニング問題に取り組む。 我々は,PIDコントローラを用いた適応走行制御とMPCコントローラを用いた軌道追跡という,自律走行による2つの具体例に関する数値実験を行った。 実験の結果,提案手法は一般的なベースラインよりも優れており,コントローラチューニングの強い可能性を強調している。
  論文  参考訳（メタデータ） (2022-09-11T13:01:14Z)
• Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
  半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2022-05-18T16:50:20Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• Sparsity in Partially Controllable Linear Systems [56.142264865866636]
  本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。 最適制御には無関係な状態変数を特徴付ける。
  論文  参考訳（メタデータ） (2021-10-12T16:41:47Z)
• Improving Input-Output Linearizing Controllers for Bipedal Robots via Reinforcement Learning [85.13138591433635]
  入力出力線形化コントローラの主な欠点は、正確な力学モデルが必要であり、入力制約を考慮できないことである。 本稿では,強化学習技術を用いた二足歩行ロボット制御の具体例について,両課題に対処する。
  論文  参考訳（メタデータ） (2020-04-15T18:15:49Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。