論文の概要: Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2310.15059v1
• Date: Mon, 23 Oct 2023 16:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 18:58:31.216828
• Title: Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
• Title（参考訳）: キーポイント統合ソフトアクタ-クリティックガウス混合モデルによるロボットスキルの一般化
• Authors: Iman Nematollahi and Kirill Yankov and Wolfram Burgard and Tim Welschehold
• Abstract要約: ロボット操作システムの長年の課題は、取得したモータースキルを、目に見えない環境に適応させ、一般化することだ。 我々は、模倣と強化のパラダイムを統合するハイブリッドスキルモデルを用いて、この課題に取り組む。 提案手法は,ロボットが新規環境への大幅なゼロショット一般化を実現し,目標環境におけるスキルをスクラッチから学習するよりも早く洗練することができることを示す。
• 参考スコア（独自算出の注目度）: 21.13906762261418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-standing challenge for a robotic manipulation system operating in real-world scenarios is adapting and generalizing its acquired motor skills to unseen environments. We tackle this challenge employing hybrid skill models that integrate imitation and reinforcement paradigms, to explore how the learning and adaptation of a skill, along with its core grounding in the scene through a learned keypoint, can facilitate such generalization. To that end, we develop Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models (KIS-GMM) approach that learns to predict the reference of a dynamical system within the scene as a 3D keypoint, leveraging visual observations obtained by the robot's physical interactions during skill learning. Through conducting comprehensive evaluations in both simulated and real-world environments, we show that our method enables a robot to gain a significant zero-shot generalization to novel environments and to refine skills in the target environments faster than learning from scratch. Importantly, this is achieved without the need for new ground truth data. Moreover, our method effectively copes with scene displacements.
• Abstract（参考訳）: 現実のシナリオで動くロボット操作システムの長年の課題は、取得したモータースキルを、目に見えない環境に適応し、一般化することだ。 本課題は,模倣と強化のパラダイムを融合したハイブリッドスキルモデルを用いて,スキルの学習と適応が,学習キーポイントを通じて現場のコアグラウンドと組み合わせることで,そのような一般化を促進するかを検討することである。 そこで本研究では,ロボットの身体的インタラクションによって得られた視覚観察を活用し,シーン内の力学系の参照を3次元キーポイントとして予測する手法であるkis-gmm(soft actor-critic gaussian mixed model)を開発した。 シミュレーション環境と実環境環境の両方において総合的な評価を行うことにより,ロボットが新規環境への顕著なゼロショット一般化を実現し,スクラッチから学習するよりも早く目標環境のスキルを洗練できることを示す。 重要なことに、これは新しい真実データを必要としない。 さらに,本手法はシーンの変位に効果的に対処する。

関連論文リスト

• SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
  本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。 我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。 実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-26T17:26:16Z)
• Generalized Robot Learning Framework [10.03174544844559]
  本稿では,様々なロボットや環境に容易に再現可能かつ伝達可能な,低コストなロボット学習フレームワークを提案する。 我々は,産業用ロボットにおいても,デプロイ可能な模倣学習をうまく適用できることを実証した。
  論文  参考訳（メタデータ） (2024-09-18T15:34:31Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
  基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。 私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。 我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-01T17:57:01Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• SCIM: Simultaneous Clustering, Inference, and Mapping for Open-World Semantic Scene Understanding [34.19666841489646]
  本研究では,ロボットが未知の環境を探索する際に,新しいセマンティッククラスを自律的に発見し,既知のクラスの精度を向上させる方法を示す。 セグメンテーションモデルを更新するための自己教師付き学習信号を生成するために,マッピングとクラスタリングのための一般的なフレームワークを開発する。 特に、デプロイ中にクラスタリングパラメータをどのように最適化するかを示し、複数の観測モダリティの融合が、以前の作業と比べて新しいオブジェクト発見を改善することを示す。
  論文  参考訳（メタデータ） (2022-06-21T18:41:51Z)
• SAGCI-System: Towards Sample-Efficient, Generalizable, Compositional, and Incremental Robot Learning [41.19148076789516]
  上記の4つの要件を満たすために,SAGCIシステムと呼ばれる体系的な学習フレームワークを導入する。 本システムはまず,ロボットの手首に搭載されたカメラによって収集された生点雲を入力とし,URDFに代表される周囲環境の初期モデリングを生成する。 そのロボットは、対話的な知覚を利用して環境と対話し、URDFのオンライン検証と修正を行う。
  論文  参考訳（メタデータ） (2021-11-29T16:53:49Z)
• Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models [29.34375999491465]
  現実の世界で行動する自律的エージェントにとっての中核的な課題は、その騒々しい知覚とダイナミクスに対処するために、そのスキルのレパートリーを適応させることである。 ロングホライズンタスクにスキルの学習を拡大するためには、ロボットは学習し、その後、構造化された方法でスキルを洗練する必要がある。 SAC-GMMは,動的システムを通じてロボットのスキルを学習し,学習したスキルを自身の軌道分布空間に適応させる,新しいハイブリッドアプローチである。
  論文  参考訳（メタデータ） (2021-11-25T15:36:11Z)
• Stronger Generalization Guarantees for Robot Learning by Combining Generative Models and Real-World Data [5.935761705025763]
  実世界の環境の有限データセットを活用することで、一般化保証を提供するためのフレームワークを提供する。 非線形・ハイブリッド力学とリッチ・センシング・モダリティを持つ2つのシミュレーションシステムに対するアプローチを実証する。
  論文  参考訳（メタデータ） (2021-11-16T20:13:10Z)
• SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
  SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。 部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
  論文  参考訳（メタデータ） (2020-03-19T00:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。