論文の概要: Uncertainty-aware Contact-safe Model-based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2010.08169v3
• Date: Tue, 9 Mar 2021 05:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:59:18.002212
• Title: Uncertainty-aware Contact-safe Model-based Reinforcement Learning
• Title（参考訳）: 不確実性を考慮したコンタクトセーフモデルによる強化学習
• Authors: Cheng-Yu Kuo, Andreas Schaarschmidt, Yunduan Cui, Tamim Asfour, and Takamitsu Matsubara
• Abstract要約: 本稿では, 接触安全行動を実現するロボットアプリケーションのための, 接触安全モデルベース強化学習(MBRL)を提案する。 確率的モデル予測制御(pMPC)制御限界とモデル不確かさを関連付け,学習の進捗に応じて制御行動の許容加速度を調整する。
• 参考スコア（独自算出の注目度）: 17.10030262602653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This letter presents contact-safe Model-based Reinforcement Learning (MBRL) for robot applications that achieves contact-safe behaviors in the learning process. In typical MBRL, we cannot expect the data-driven model to generate accurate and reliable policies to the intended robotic tasks during the learning process due to sample scarcity. Operating these unreliable policies in a contact-rich environment could cause damage to the robot and its surroundings. To alleviate the risk of causing damage through unexpected intensive physical contacts, we present the contact-safe MBRL that associates the probabilistic Model Predictive Control's (pMPC) control limits with the model uncertainty so that the allowed acceleration of controlled behavior is adjusted according to learning progress. Control planning with such uncertainty-aware control limits is formulated as a deterministic MPC problem using a computation-efficient approximated GP dynamics and an approximated inference technique. Our approach's effectiveness is evaluated through bowl mixing tasks with simulated and real robots, scooping tasks with a real robot as examples of contact-rich manipulation skills. (video: https://youtu.be/sdhHP3NhYi0)
• Abstract（参考訳）: 本報告では, ロボットアプリケーションにおける接触安全モデルに基づく強化学習(MBRL)について述べる。 典型的なMBRLでは、サンプル不足による学習過程において、データ駆動モデルが意図したロボットタスクに対して正確かつ信頼性の高いポリシーを生成することは期待できない。 こうした信頼できないポリシーを接点の多い環境で運用することは、ロボットとその周囲にダメージを与える可能性がある。 予期せぬ集中的な物理的接触による損傷のリスクを軽減するために,確率モデル予測制御(pmpc)の制御限界をモデル不確実性に関連付けたコンタクトセーフmbrlを提案する。 このような不確実性を考慮した制御計画は、計算効率の近似GPダイナミクスと近似推論手法を用いて決定論的MPC問題として定式化される。 提案手法の有効性は, 実物と模擬ロボットとのボウル混合作業により評価され, 接触豊富な操作スキルの例として, 実物と実物とのスクーピング作業を行う。 (ビデオ:https://youtu.be/sdhHP3NhYi0)

関連論文リスト

• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• DiAReL: Reinforcement Learning with Disturbance Awareness for Robust Sim2Real Policy Transfer in Robot Control [0.0]
  遅延マルコフ決定プロセスは、最近コミットされたアクションの有限時間ウィンドウでエージェントの状態空間を拡大することでマルコフ特性を満たす。 本稿では,遅延した環境下での乱れ増進型マルコフ決定プロセスを導入し,政治強化学習アルゴリズムのトレーニングにおける乱れ推定を取り入れた新しい表現法を提案する。
  論文  参考訳（メタデータ） (2023-06-15T10:11:38Z)
• GAN-MPC: Training Model Predictive Controllers with Parameterized Cost Functions using Demonstrations from Non-identical Experts [14.291720751625585]
  本稿では,ジェンセン-シャノン間におけるデモンストレータの状態-軌道分布のばらつきを最小限に抑えるために,GAN(Generative Adversarial Network)を提案する。 我々はDeepMind Controlスイートの様々なシミュレーションロボットタスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-05-30T15:15:30Z)
• Safe Machine-Learning-supported Model Predictive Force and Motion Control in Robotics [0.0]
  人間とロボットの相互作用や脆弱な物体のハンドリングのような多くのロボットタスクは、安全かつ高性能な操作を実現するために、動き制御と共に現れる力とモーメントの厳密な制御と制限を必要とする。 本研究では,学習支援型モデル予測力と運動制御方式を提案する。
  論文  参考訳（メタデータ） (2023-03-08T13:30:02Z)
• A Contact-Safe Reinforcement Learning Framework for Contact-Rich Robot Manipulation [5.0768619194124005]
  本稿では,コンタクトリッチロボット操作のためのコンタクトセーフ強化学習フレームワークを提案する。 RLポリシーがロボットアームと環境の予期せぬ衝突を引き起こすと、我々のフレームワークはすぐに衝突を検出し、接触力を小さくすることができる。 本手法は, 予期せぬ衝突のシナリオ下であっても, タスク空間とジョイント空間の両方で接触力を小さく抑えることができる。
  論文  参考訳（メタデータ） (2022-07-27T10:35:44Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
  本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。 私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。 シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-09-12T02:02:52Z)
• Learning Compliance Adaptation in Contact-Rich Manipulation [81.40695846555955]
  本稿では,コンタクトリッチタスクに必要な力プロファイルの予測モデルを学習するための新しいアプローチを提案する。 このアプローチは、双方向Gated Recurrent Units (Bi-GRU) に基づく異常検出と適応力/インピーダンス制御を組み合わせたものである。
  論文  参考訳（メタデータ） (2020-05-01T05:23:34Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。