論文の概要: Keep it Simple: Data-efficient Learning for Controlling Complex Systems with Simple Models

• arxiv url: http://arxiv.org/abs/2102.02493v1
• Date: Thu, 4 Feb 2021 09:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:02:56.478318
• Title: Keep it Simple: Data-efficient Learning for Controlling Complex Systems with Simple Models
• Title（参考訳）: シンプルなモデルで複雑なシステムを制御するためのデータ効率のよい学習
• Authors: Thomas Power and Dmitry Berenson
• Abstract要約: 本稿では,画像から複雑な動的・高次元状態空間を持つシステムを制御するための,データ効率の学習手法を提案する。 我々は画像を用いて知覚モデルを訓練し、オンラインで複雑なシステムの観測から単純なモデル状態を推定する。 次に、複雑なシステムのデータを使って、単純なモデルのパラメータを適合させ、このモデルがどこに不正確であるかを学習します。
• 参考スコア（独自算出の注目度）: 4.974890682815778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When manipulating a novel object with complex dynamics, a state representation is not always available, for example for deformable objects. Learning both a representation and dynamics from observations requires large amounts of data. We propose Learned Visual Similarity Predictive Control (LVSPC), a novel method for data-efficient learning to control systems with complex dynamics and high-dimensional state spaces from images. LVSPC leverages a given simple model approximation from which image observations can be generated. We use these images to train a perception model that estimates the simple model state from observations of the complex system online. We then use data from the complex system to fit the parameters of the simple model and learn where this model is inaccurate, also online. Finally, we use Model Predictive Control and bias the controller away from regions where the simple model is inaccurate and thus where the controller is less reliable. We evaluate LVSPC on two tasks; manipulating a tethered mass and a rope. We find that our method performs comparably to state-of-the-art reinforcement learning methods with an order of magnitude less data. LVSPC also completes the rope manipulation task on a real robot with 80% success rate after only 10 trials, despite using a perception system trained only on images from simulation.
• Abstract（参考訳）: 複雑な動的で新しいオブジェクトを操作する場合、例えば変形可能なオブジェクトなど、状態表現は必ずしも利用できない。 観察から表現とダイナミクスの両方を学ぶには、大量のデータが必要です。 複雑な動的および高次元状態空間を持つシステムを制御するための,データ効率のよい学習手法であるLearted Visual similarity Predictive Control (LVSPC)を提案する。 LVSPCは、画像観察を生成できる与えられた単純なモデル近似を利用する。 これらの画像を用いて、オンラインの複雑なシステムの観測から単純なモデルの状態を推定する知覚モデルを訓練する。 次に、複雑なシステムのデータを使用して、単純なモデルのパラメータに適合し、このモデルが不正確である場所を学習します。 最後に、我々はモデル予測制御を使い、単純なモデルが不正確で、コントローラが信頼性が低い領域からコントローラをバイアスします。 我々はLVSPCを2つのタスク、すなわちテザリング質量とロープの操作で評価した。 提案手法は, 最先端の強化学習手法に対して, 桁違いに少ないデータで比較可能であることが判明した。 lvspcは、シミュレーションからの画像のみを訓練した知覚システムを使用しても、わずか10回の試行で80%の成功率の実際のロボットのロープ操作タスクも完了している。

関連論文リスト

• Physics-informed reinforcement learning via probabilistic co-adjustment functions [3.6787556334630334]
  両手法の利点を組み合わせた新しい手法として,コクリグ調整 (CKA) とリッジ回帰調整 (RRA) を導入する。 本手法は,GPプリエントと統合した自己回帰AR1コクリグモデルに基づく。
  論文  参考訳（メタデータ） (2023-09-11T12:10:19Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Sample Efficient Dynamics Learning for Symmetrical Legged Robots:Leveraging Physics Invariance and Geometric Symmetries [14.848950116410231]
  本稿では,基礎となるロボットシステムにおける対称性を利用したダイナミクスの学習手法を提案する。 ベクトル空間における全てのデータを表す既存のフレームワークは、ロボットの構造化情報を考えるのに失敗する。
  論文  参考訳（メタデータ） (2022-10-13T19:57:46Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• Training Structured Mechanical Models by Minimizing Discrete Euler-Lagrange Residual [36.52097893036073]
  structured mechanical models (smms) は、機械システムのデータ効率の良いブラックボックスパラメータ化である。 離散オイラーラグランジュ残差を最小化することにより,SMMをデータに適用する手法を提案する。 実験の結果,従来のSMMの適合方式よりも精度の高いモデルが得られた。
  論文  参考訳（メタデータ） (2021-05-05T00:44:01Z)
• Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation [49.631034790080406]
  本稿では,大理石を円形迷路の中心まで航行する作業について述べる。 実システムと対話する数分以内に,複雑な環境で大理石を動かすことを学習するモデルを提案する。
  論文  参考訳（メタデータ） (2020-11-14T02:03:08Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。