論文の概要: CabiNet: Scaling Neural Collision Detection for Object Rearrangement
with Procedural Scene Generation
- arxiv url: http://arxiv.org/abs/2304.09302v1
- Date: Tue, 18 Apr 2023 21:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 16:17:44.991125
- Title: CabiNet: Scaling Neural Collision Detection for Object Rearrangement
with Procedural Scene Generation
- Title(参考訳): CabiNet: プロシージャシーン生成による物体再構成のためのスケーリング型ニューラルコリジョン検出
- Authors: Adithyavairavan Murali, Arsalan Mousavian, Clemens Eppner, Adam
Fishman, Dieter Fox
- Abstract要約: 私たちはまず、さまざまな日常環境において、650万以上の散らばったシーン(前よりも桁違いに多い)を生成します。
このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。
CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルである。
- 参考スコア(独自算出の注目度): 54.68738348071891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the important problem of generalizing robotic rearrangement to
clutter without any explicit object models. We first generate over 650K
cluttered scenes - orders of magnitude more than prior work - in diverse
everyday environments, such as cabinets and shelves. We render synthetic
partial point clouds from this data and use it to train our CabiNet model
architecture. CabiNet is a collision model that accepts object and scene point
clouds, captured from a single-view depth observation, and predicts collisions
for SE(3) object poses in the scene. Our representation has a fast inference
speed of 7 microseconds per query with nearly 20% higher performance than
baseline approaches in challenging environments. We use this collision model in
conjunction with a Model Predictive Path Integral (MPPI) planner to generate
collision-free trajectories for picking and placing in clutter. CabiNet also
predicts waypoints, computed from the scene's signed distance field (SDF), that
allows the robot to navigate tight spaces during rearrangement. This improves
rearrangement performance by nearly 35% compared to baselines. We
systematically evaluate our approach, procedurally generate simulated
experiments, and demonstrate that our approach directly transfers to the real
world, despite training exclusively in simulation. Robot experiment demos in
completely unknown scenes and objects can be found at this http
https://cabinet-object-rearrangement.github.io
- Abstract(参考訳): 我々は,ロボット再構成を明示的な対象モデルなしに乱雑に一般化する重要な問題に対処する。
キャビネットや棚など,さまざまな日常環境において,まず650万以上の散らばったシーン – 先行作業よりも桁違いに多い – を生成しました。
このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。
CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルであり、一視点の深度観測から捉え、シーン内のSE(3)オブジェクトのポーズの衝突を予測する。
我々の表現は、クエリ毎に7マイクロ秒の高速な推論速度を持ち、挑戦的な環境でのベースラインアプローチよりも20%近いパフォーマンスを持つ。
我々は,この衝突モデルとモデル予測経路積分(MPPI)プランナーを併用して,衝突のない軌道を生成する。
キャビネットはまた、シーンのサイン付き距離場(sdf)から計算されたウェイポイントを予測し、ロボットが再配置中に狭い空間を移動できるようにする。
これにより、ベースラインよりも35%近く性能が向上する。
提案手法を体系的に評価し,シミュレート実験を手順的に生成し,シミュレーションのみを訓練しながら,実世界へ直接移行することを示す。
ロボット実験のデモは完全に未知の場面で、オブジェクトはhttp https://cabinet-object-rearrangement.github.ioで見ることができる。
関連論文リスト
- PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。
我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。
相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
論文 参考訳(メタデータ) (2024-11-17T23:09:08Z) - Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。
我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。
提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
論文 参考訳(メタデータ) (2024-04-02T10:15:06Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳(メタデータ) (2023-06-07T17:57:45Z) - COPILOT: Human-Environment Collision Prediction and Localization from
Egocentric Videos [62.34712951567793]
エゴセントリックな観測から人間と環境の衝突を予測する能力は、VR、AR、ウェアラブルアシストロボットなどのアプリケーションにおける衝突回避を可能にするために不可欠である。
本稿では、ボディマウントカメラから撮影した多視点エゴセントリックビデオから、多様な環境における衝突を予測するという課題を紹介する。
衝突予測と局所化を同時に行うために,COPILOTと呼ばれるトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2022-10-04T17:49:23Z) - iSDF: Real-Time Neural Signed Distance Fields for Robot Perception [64.80458128766254]
iSDFは実時間符号付き距離場再構成のための連続学習システムである。
より正確な再構築と、衝突コストと勾配のより良い近似を生成する。
論文 参考訳(メタデータ) (2022-04-05T15:48:39Z) - PQ-Transformer: Jointly Parsing 3D Objects and Layouts from Point Clouds [4.381579507834533]
点雲からの3Dシーン理解は、様々なロボットアプリケーションにおいて重要な役割を果たす。
現在の最先端の手法では、オブジェクト検出や部屋のレイアウト推定など、さまざまなタスクに別々のニューラルネットワークを使用している。
本稿では,3次元オブジェクトとレイアウトを同時に予測するトランスフォーマーアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-09-12T17:31:59Z) - SIMstack: A Generative Shape and Instance Model for Unordered Object
Stacks [38.042876641457255]
物理シミュレーションにより積み上げられた物体のデータセットに訓練された深度条件付き可変オートエンコーダ(VAE)を提案する。
インスタンスセグメンテーションは、クラスに依存しない検出を可能にし、シーン内のオブジェクトの最大数を設定する必要がないセンター投票タスクとして定式化します。
本手法は,ロボットに部分的に観察されたシーンを素早く直感的に推論する能力を与えるための実用的応用である。
論文 参考訳(メタデータ) (2021-03-30T15:42:43Z) - Object Rearrangement Using Learned Implicit Collision Functions [61.90305371998561]
本研究では,シーン内の6DOFオブジェクトのポーズに対して,シーンとクエリ対象点の雲を受け付け,衝突を予測できる学習的衝突モデルを提案する。
我々は,テーブルトップ再構成タスクにおけるモデル予測経路積分(MPPI)ポリシーの一部として,学習された衝突モデルを活用する。
学習モデルは従来のパイプラインよりも優れており、シミュレーションされた衝突クエリのデータセット上では9.8%の精度で学習精度が向上している。
論文 参考訳(メタデータ) (2020-11-21T05:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。