論文の概要: Predictive Coding for Locally-Linear Control

• arxiv url: http://arxiv.org/abs/2003.01086v1
• Date: Mon, 2 Mar 2020 18:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:49:20.792444
• Title: Predictive Coding for Locally-Linear Control
• Title（参考訳）: 局所線形制御のための予測符号化
• Authors: Rui Shu, Tung Nguyen, Yinlam Chow, Tuan Pham, Khoat Than, Mohammad Ghavamzadeh, Stefano Ermon, Hung H. Bui
• Abstract要約: 高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。 Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込むことによって、これらの課題に対処する。 理論的には、明示的な次観測予測を予測符号化に置き換えることが可能である。
• 参考スコア（独自算出の注目度）: 92.35650774524399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-dimensional observations and unknown dynamics are major challenges when applying optimal control to many real-world decision making tasks. The Learning Controllable Embedding (LCE) framework addresses these challenges by embedding the observations into a lower dimensional latent space, estimating the latent dynamics, and then performing control directly in the latent space. To ensure the learned latent dynamics are predictive of next-observations, all existing LCE approaches decode back into the observation space and explicitly perform next-observation prediction---a challenging high-dimensional task that furthermore introduces a large number of nuisance parameters (i.e., the decoder) which are discarded during control. In this paper, we propose a novel information-theoretic LCE approach and show theoretically that explicit next-observation prediction can be replaced with predictive coding. We then use predictive coding to develop a decoder-free LCE model whose latent dynamics are amenable to locally-linear control. Extensive experiments on benchmark tasks show that our model reliably learns a controllable latent space that leads to superior performance when compared with state-of-the-art LCE baselines.
• Abstract（参考訳）: 高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。 Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込み、潜伏力学を推定し、潜伏空間で直接制御を行うことによって、これらの課題に対処する。 学習された潜伏ダイナミクスが次の観測の予測を確実にするため、既存のLCEアプローチはすべて観測空間に復号し、次の観測予測を明示的に実行します。 本稿では,新しい情報理論lce手法を提案し,その理論上,明示的な次観測予測を予測符号化に置き換えることができることを示す。 次に, 予測符号を用いて, 潜在ダイナミクスが局所線形制御に適合するデコーダフリーlceモデルを開発した。 ベンチマークタスクに関する広範な実験により,本モデルが最先端のlceベースラインと比較して優れた性能をもたらす制御可能な潜在空間を確実に学習できることが確認された。

関連論文リスト

• Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
  トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。 本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。 このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
  論文  参考訳（メタデータ） (2024-05-31T10:13:17Z)
• Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
  本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。 我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-29T17:02:49Z)
• Controllability-Constrained Deep Network Models for Enhanced Control of Dynamical Systems [4.948174943314265]
  力学の知識を持たない力学系の制御は重要かつ困難な課題である。 ディープニューラルネットワーク(DNN)のような現代の機械学習アプローチは、制御入力と対応する状態観測出力から動的モデルの推定を可能にする。 制御性のあるデータから推定されるモデルを明確に拡張する制御理論法を提案する。
  論文  参考訳（メタデータ） (2023-11-11T00:04:26Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Can Direct Latent Model Learning Solve Linear Quadratic Gaussian Control? [75.14973944905216]
  本研究では,高次元観測から状態表現を学習する課題について検討する。 我々は,ある潜在状態空間における動的モデルを,計画に直接関連する量を予測することによって学習する,直接潜在モデル学習手法を追求する。
  論文  参考訳（メタデータ） (2022-12-30T01:42:04Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• Temporal Predictive Coding For Model-Based Planning In Latent Space [80.99554006174093]
  時間的に予測可能な環境要素を符号化するために,時間的予測符号化を用いた情報理論的手法を提案する。 本稿では,DMControl タスクの背景を複雑な情報を含む自然なビデオに置き換える,標準的な DMControl タスクの挑戦的な修正について評価する。
  論文  参考訳（メタデータ） (2021-06-14T04:31:15Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• NewtonianVAE: Proportional Control and Goal Identification from Pixels via Physical Latent Spaces [9.711378389037812]
  本稿では,潜在空間における比例制御性を誘導するために一意に設計された潜在動的学習フレームワークを提案する。 学習したダイナミックスモデルは画素からの比例制御を可能にし、視覚ベースのコントローラの動作クローンを劇的に単純化し、高速化し、実演からのスイッチングコントローラの模倣学習に適用した場合に、解釈可能なゴール発見を提供する。
  論文  参考訳（メタデータ） (2020-06-02T21:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。