論文の概要: Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives

• arxiv url: http://arxiv.org/abs/2003.08854v3
• Date: Fri, 24 Sep 2021 14:01:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 04:06:48.011638
• Title: Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives
• Title（参考訳）: 極性スキルプリミティブのためのゴールコンディションエンド・ツー・エンドバイスモータ制御
• Authors: Oliver Groth, Chia-Man Hung, Andrea Vedaldi, Ingmar Posner
• Abstract要約: 本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
• 参考スコア（独自算出の注目度）: 89.34229413345541
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Visuomotor control (VMC) is an effective means of achieving basic manipulation tasks such as pushing or pick-and-place from raw images. Conditioning VMC on desired goal states is a promising way of achieving versatile skill primitives. However, common conditioning schemes either rely on task-specific fine tuning - e.g. using one-shot imitation learning (IL) - or on sampling approaches using a forward model of scene dynamics i.e. model-predictive control (MPC), leaving deployability and planning horizon severely limited. In this paper we propose a conditioning scheme which avoids these pitfalls by learning the controller and its conditioning in an end-to-end manner. Our model predicts complex action sequences based directly on a dynamic image representation of the robot motion and the distance to a given target observation. In contrast to related works, this enables our approach to efficiently perform complex manipulation tasks from raw image observations without predefined control primitives or test time demonstrations. We report significant improvements in task success over representative MPC and IL baselines. We also demonstrate our model's generalisation capabilities in challenging, unseen tasks featuring visual noise, cluttered scenes and unseen object geometries.
• Abstract（参考訳）: visuomotor control(vmc)は、原画像からの押し出しや取り出しといった基本的な操作タスクを実現する効果的な手段である。 望ましい目標状態のvmc条件付けは、多彩なスキルプリミティブを達成するための有望な方法である。 しかし、一般的な条件付けスキームはタスク固有の微調整(例:ワンショット模倣学習(IL))、またはシーンダイナミクスのフォワードモデル(例:モデル予測制御(MPC)を用いたサンプリングアプローチ(例:デプロイ可能性と計画的地平線)に依存している。 本稿では,制御器とその条件をエンドツーエンドに学習することで,これらの落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現と,対象とする観測距離に基づいて,複雑な動作シーケンスを予測する。 関連する研究とは対照的に,本手法では,事前定義された制御プリミティブやテスト時間デモを使わずに,生画像からの複雑な操作タスクを効率的に行うことができる。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。 また,視覚ノイズ,乱雑なシーン,被写体ジオメトリを特徴とする難易度の高いタスクにおいて,モデルの一般化能力を示す。

関連論文リスト

• Guided Reinforcement Learning for Robust Multi-Contact Loco-Manipulation [12.377289165111028]
  強化学習(Reinforcement Learning, RL)は、各タスクに合わせた細かなマルコフ決定プロセス(MDP)設計を必要とすることが多い。 本研究は,マルチコンタクトロコ操作タスクの動作合成と制御に対する体系的アプローチを提案する。 モデルベース軌道から生成されたタスク毎の1つの実演のみを用いて,RLポリシーを訓練するためのタスク非依存のMDPを定義する。
  論文  参考訳（メタデータ） (2024-10-17T17:46:27Z)
• Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation [13.736566979493613]
  本モデルでは,カメラのNext-Best-View(NBV)ポリシーとグリップのNext-Best Pose(NBP)ポリシーを直列接続し,数発の強化学習を用いてセンサ・モーター協調フレームワークでトレーニングする。 このアプローチにより、エージェントは3人称カメラを調整し、タスクゴールに基づいて環境を積極的に観察し、その後に適切な操作行動を推測することができる。 その結果,操作タスクにおける視覚的制約処理の有効性を示すとともに,ベースラインアルゴリズムを一貫して上回る結果が得られた。
  論文  参考訳（メタデータ） (2024-09-23T10:38:20Z)
• SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation [62.58480650443393]
  Segment Anything (SAM) は、一般化可能なシーン理解とシーケンス模倣のための視覚境界モデルである。 我々は,単一パスにおけるアクションシーケンスの予測を可能にする,新しいマルチチャネルヒートマップを開発した。
  論文  参考訳（メタデータ） (2024-05-30T00:32:51Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Dynamic-Resolution Model Learning for Object Pile Manipulation [33.05246884209322]
  本研究では,様々な抽象レベルで動的かつ適応的な表現を学習し,効率と効率の最適なトレードオフを実現する方法について検討する。 具体的には、環境の動的分解能粒子表現を構築し、グラフニューラルネットワーク(GNN)を用いた統一力学モデルを学ぶ。 本手法は, 粒状オブジェクトの収集, ソート, 再分配において, 最先端の固定解像度ベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-29T05:51:44Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Consolidating Kinematic Models to Promote Coordinated Mobile Manipulations [96.03270112422514]
  我々は,移動体ベース,アーム,移動体操作で操作する物体の運動学を統合する仮想キネマティックチェイン(VKC)を構築した。 移動操作タスクは、構築されたVKCの状態を変更して表現され、移動計画問題に変換することができる。
  論文  参考訳（メタデータ） (2021-08-03T02:59:41Z)
• Coarse-to-Fine for Sim-to-Real: Sub-Millimetre Precision Across the Workspace [7.906608953906891]
  タスクが精度の高い制御とサブミリメートル誤差耐性、フルワークスペースの一般化の両方を必要とする場合、ゼロショット・シム・トゥ・リアルの問題を考察する。 このフレームワークは,まずポーズ推定に基づく古典的な動作計画から始まり,画像とアクションをマッピングし,ドメインのランダム化によるシミュレーションで訓練するエンド・ツー・エンドのコントローラに遷移する。 このようにして、作業空間全体にわたってコントローラを一般化し、視覚に基づくエンドツーエンド制御の汎用性と堅牢性を保ちながら、正確な制御を実現する。
  論文  参考訳（メタデータ） (2021-05-24T14:12:38Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。