論文の概要: RiEMann: Near Real-Time SE(3)-Equivariant Robot Manipulation without Point Cloud Segmentation
- arxiv url: http://arxiv.org/abs/2403.19460v2
- Date: Thu, 03 Oct 2024 11:13:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:28:28.696980
- Title: RiEMann: Near Real-Time SE(3)-Equivariant Robot Manipulation without Point Cloud Segmentation
- Title(参考訳): RiEMann: ポイントクラウドセグメンテーションを使わずに, リアルタイムに近いSE(3)-同変ロボット操作
- Authors: Chongkai Gao, Zhengrong Xue, Shuying Deng, Tianhai Liang, Siqi Yang, Lin Shao, Huazhe Xu,
- Abstract要約: 本稿では,シーンポイントクラウド入力からリアルタイムSE(3)-等価ロボットマニピュレーション模倣学習フレームワークRiEMannを提案する。
ディスクリプタのフィールドマッチングに依存する従来のメソッドと比較して、RiEMannはオブジェクトのセグメンテーションなしで操作するためのオブジェクトのターゲットポーズを直接予測する。
RiEMannは、5から10のデモで操作タスクをスクラッチから学習し、SE(3)変換とターゲットオブジェクトのインスタンスを一般化し、邪魔なオブジェクトの視覚的干渉に抵抗し、ターゲットオブジェクトのほぼリアルタイムのポーズ変更に従う。
- 参考スコア(独自算出の注目度): 20.685168082722534
- License:
- Abstract: We present RiEMann, an end-to-end near Real-time SE(3)-Equivariant Robot Manipulation imitation learning framework from scene point cloud input. Compared to previous methods that rely on descriptor field matching, RiEMann directly predicts the target poses of objects for manipulation without any object segmentation. RiEMann learns a manipulation task from scratch with 5 to 10 demonstrations, generalizes to unseen SE(3) transformations and instances of target objects, resists visual interference of distracting objects, and follows the near real-time pose change of the target object. The scalable action space of RiEMann facilitates the addition of custom equivariant actions such as the direction of turning the faucet, which makes articulated object manipulation possible for RiEMann. In simulation and real-world 6-DOF robot manipulation experiments, we test RiEMann on 5 categories of manipulation tasks with a total of 25 variants and show that RiEMann outperforms baselines in both task success rates and SE(3) geodesic distance errors on predicted poses (reduced by 68.6%), and achieves a 5.4 frames per second (FPS) network inference speed. Code and video results are available at https://riemann-web.github.io/.
- Abstract(参考訳): 本稿では,シーンポイントクラウド入力からリアルタイムSE(3)-等価ロボットマニピュレーション模倣学習フレームワークRiEMannを提案する。
ディスクリプタのフィールドマッチングに依存する従来のメソッドと比較して、RiEMannはオブジェクトのセグメンテーションなしで操作するためのオブジェクトのターゲットポーズを直接予測する。
RiEMannは、5から10のデモで操作タスクをスクラッチから学習し、SE(3)変換とターゲットオブジェクトのインスタンスを一般化し、邪魔なオブジェクトの視覚的干渉に抵抗し、ターゲットオブジェクトのほぼリアルタイムのポーズ変更に従う。
RiEMannのスケーラブルなアクション空間は、ファウセットを回転させる方向などのカスタム同変アクションの追加を促進する。
シミュレーションおよび実世界の6-DOFロボット操作実験において、25の変種からなる5種類の操作タスクでRiEMannをテストし、予測されたポーズ(68.6%)におけるSE(3)測地距離誤差とタスク成功率の両方でベースラインを上回り、毎秒5.4フレーム(FPS)ネットワーク推論速度を達成することを示した。
コードとビデオの結果はhttps://riemann-web.github.io/.com/で公開されている。
関連論文リスト
- Track2Act: Predicting Point Tracks from Internet Videos enables Diverse Zero-shot Robot Manipulation [65.46610405509338]
Track2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
これらの2次元トラック予測を用いて、操作対象の剛体変換列を推定し、ロボットのエンドエフェクタのポーズを得る。
学習したトラック予測を残留ポリシーと組み合わせることで、ゼロショットロボットの操作が可能となることを示す。
論文 参考訳(メタデータ) (2024-05-02T17:56:55Z) - Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds [45.87961177297602]
この研究は、人間中心環境におけるロボットのインタラクションと操作のための包括的なフレームワークに、最近の手法を統合することを目的としている。
具体的には,コモディティ3Dスキャナの3次元再構成をオープン語彙のインスタンスセグメンテーションに活用する。
本研究では,動的オブジェクト検索と引き出し開口を含む実世界の2つの実験において,モデルの性能とロバスト性を示す。
論文 参考訳(メタデータ) (2024-04-18T18:01:15Z) - Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。
我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。
提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
論文 参考訳(メタデータ) (2024-04-02T10:15:06Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
ロボットは実世界のロボット応用において,頑健な知覚と操作性を示すことが不可欠である。
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
論文 参考訳(メタデータ) (2024-03-24T05:55:39Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳(メタデータ) (2023-07-28T05:47:24Z) - HACMan: Learning Hybrid Actor-Critic Maps for 6D Non-Prehensile Manipulation [29.01984677695523]
本稿では6次元非包括的操作のための強化学習手法であるHybrid Actor-Critic Maps for Manipulation (HACMan)を紹介する。
シミュレーションおよび実世界における6次元オブジェクトポーズアライメントタスクにおけるHACManの評価を行った。
代替アクション表現と比較して、HACManは最高のベースラインの3倍以上の成功率を達成する。
論文 参考訳(メタデータ) (2023-05-06T05:55:27Z) - CabiNet: Scaling Neural Collision Detection for Object Rearrangement
with Procedural Scene Generation [54.68738348071891]
私たちはまず、さまざまな日常環境において、650万以上の散らばったシーン(前よりも桁違いに多い)を生成します。
このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。
CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルである。
論文 参考訳(メタデータ) (2023-04-18T21:09:55Z) - ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation [9.551453254490125]
ARMBenchは、倉庫のコンテキストにおけるロボット操作のための大規模でオブジェクト中心のベンチマークデータセットである。
ロボットマニピュレータを用いて,Amazonの倉庫で収集した大規模データセットについて述べる。
論文 参考訳(メタデータ) (2023-03-29T01:42:54Z) - Object Manipulation via Visual Target Localization [64.05939029132394]
オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。
本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。
評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
論文 参考訳(メタデータ) (2022-03-15T17:59:01Z) - Neural Descriptor Fields: SE(3)-Equivariant Object Representations for
Manipulation [75.83319382105894]
対象と対象の相対的なポーズを符号化するオブジェクト表現であるニューラル・ディスクリプタ・フィールド(NDF)を提案する。
NDFは、専門家ラベル付きキーポイントに依存しない3D自動エンコーディングタスクを通じて、自己教師型で訓練される。
我々のパフォーマンスは、オブジェクトインスタンスと6-DoFオブジェクトの両方のポーズを一般化し、2Dディスクリプタに依存する最近のベースラインを著しく上回ります。
論文 参考訳(メタデータ) (2021-12-09T18:57:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。