論文の概要: ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation
- arxiv url: http://arxiv.org/abs/2503.03045v1
- Date: Tue, 04 Mar 2025 22:51:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-06 15:53:02.012660
- Title: ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation
- Title（参考訳）: ArticuBot: 大規模シミュレーションによるユニバーサルArticulated Object Manipulation Policyの学習
- Authors: Yufei Wang, Ziyu Wang, Mino Nakura, Pratik Bhowal, Chia-Liang Kuo, Yi-Ting Chen, Zackory Erickson, David Held,
- Abstract要約: Articubot(アルティキュボット)は、現実世界で目に見えないオブジェクトの多様なカテゴリをオープンするポリシーを学ぶシステムである。
学習したポリシーは、3つの異なるリアルロボット設定にゼロショット転送可能であることを示す。
- 参考スコア（独自算出の注目度）: 22.43711565969091
- License:
- Abstract: This paper presents ArticuBot, in which a single learned policy enables a robotics system to open diverse categories of unseen articulated objects in the real world. This task has long been challenging for robotics due to the large variations in the geometry, size, and articulation types of such objects. Our system, Articubot, consists of three parts: generating a large number of demonstrations in physics-based simulation, distilling all generated demonstrations into a point cloud-based neural policy via imitation learning, and performing zero-shot sim2real transfer to real robotics systems. Utilizing sampling-based grasping and motion planning, our demonstration generalization pipeline is fast and effective, generating a total of 42.3k demonstrations over 322 training articulated objects. For policy learning, we propose a novel hierarchical policy representation, in which the high-level policy learns the sub-goal for the end-effector, and the low-level policy learns how to move the end-effector conditioned on the predicted goal. We demonstrate that this hierarchical approach achieves much better object-level generalization compared to the non-hierarchical version. We further propose a novel weighted displacement model for the high-level policy that grounds the prediction into the existing 3D structure of the scene, outperforming alternative policy representations. We show that our learned policy can zero-shot transfer to three different real robot settings: a fixed table-top Franka arm across two different labs, and an X-Arm on a mobile base, opening multiple unseen articulated objects across two labs, real lounges, and kitchens. Videos and code can be found on our project website: https://articubot.github.io/.
- Abstract（参考訳）: 本稿では,ロボット工学システムが実世界において,目に見えない物体の多様なカテゴリを開放することのできる,単一の学習ポリシーをArticuBotに提示する。
このタスクは、そのような物体の形状、大きさ、調音タイプに大きな変化があるため、ロボット工学において長年挑戦されてきた。
私たちのシステムであるArticubotは、3つの部分から構成されています。物理ベースのシミュレーションで多数のデモを生成し、模倣学習を通じてすべての生成されたデモをポイントクラウドベースのニューラルポリシーに蒸留し、実際のロボットシステムへのゼロショットシモディリアルトランスファーを実行します。
サンプリングに基づく把握と動作計画を活用することで,実演一般化パイプラインは高速かつ効果的に動作し,322個の訓練対象に対して42.3k以上の実演を発生させる。
政策学習においては,高レベルの政策がエンドエフェクタのサブゴールを学習し,低レベルの政策が予測された目標に基づいてエンドエフェクタの移動方法を学習する,新しい階層的な政策表現を提案する。
この階層的アプローチは、非階層的バージョンよりもはるかに優れたオブジェクトレベルの一般化を実現することを実証する。
さらに,シーンの既存の3次元構造に予測を基礎として,新たな重み付き変位モデルを提案する。
学習したポリシーは、2つの異なるラボにまたがる固定テーブルトップのFrankaアームと、モバイルベースにX-Arm、そして2つのラボ、本物のラウンジ、キッチンにまたがる複数の見えない関節したオブジェクトを開くという、3つの異なるリアルロボット設定にゼロショットで転送できることを示します。
ビデオとコードは、プロジェクトのWebサイト(https://articubot.github.io/)で見ることができる。
関連論文リスト
- Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳（メタデータ） (2024-03-24T05:55:39Z) - Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects [18.342569823885864]
TAPG(Teacher-Augmented Policy Gradient)は、強化学習と政策蒸留を統括する新しい2段階学習フレームワークである。
TAPGは、オブジェクトセグメンテーションに基づいて、誘導的かつ適応的でありながら、センセータポリシーの学習を促進する。
トレーニングされたポリシーは、シミュレーションにおける散らかったシナリオや、人間の理解可能なプロンプトに基づいて現実世界から、多種多様なオブジェクトを順応的に把握する。
論文 参考訳（メタデータ） (2024-03-15T10:48:16Z) - Learning Generalizable Manipulation Policies with Object-Centric 3D
Representations [65.55352131167213]
GROOTは、オブジェクト中心と3D事前の堅牢なポリシーを学ぶための模倣学習手法である。
ビジョンベースの操作のための初期訓練条件を超えて一般化するポリシーを構築する。
GROOTのパフォーマンスは、バックグラウンドの変更、カメラの視点シフト、新しいオブジェクトインスタンスの存在に関する一般化に優れています。
論文 参考訳（メタデータ） (2023-10-22T18:51:45Z) - One-shot Imitation Learning via Interaction Warping [32.5466340846254]
本稿では,1つの実演からSE(3)ロボット操作ポリシーを学習するためのインタラクションウォーピング法を提案する。
我々は、オブジェクトインスタンス間で点雲を整列させる技術である形状ワープを用いて、環境中の各オブジェクトの3Dメッシュを推論する。
3つのシミュレーションおよび実世界のオブジェクト再配置タスクで1ショットの模倣学習を成功させる。
論文 参考訳（メタデータ） (2023-06-21T17:26:11Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal
Human Demonstrations [51.87067543670535]
本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。
我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。
我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
論文 参考訳（メタデータ） (2022-09-28T17:51:49Z) - FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects [14.034256001448574]
そこで本研究では,様々な物体の潜在的な動きを学習して予測する視覚ベースシステムを提案する。
我々は,このベクトル場に基づく解析的運動プランナを配置し,最大調音を与えるポリシを実現する。
その結果,本システムは実世界のシミュレーション実験と実世界実験の両方において,最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-05-09T15:35:33Z) - Learning Generalizable Dexterous Manipulation from Human Grasp
Affordance [11.060931225148936]
マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。
模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。
本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
論文 参考訳（メタデータ） (2022-04-05T16:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。