論文の概要: SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields

• arxiv url: http://arxiv.org/abs/2211.09786v1
• Date: Thu, 17 Nov 2022 18:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 15:52:22.809397
• Title: SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields
• Title（参考訳）: 神経ディスクリプタフィールドを用いたse(3)等価リレーショナルアレンジメント
• Authors: Anthony Simeonov, Yilun Du, Lin Yen-Chen, Alberto Rodriguez, Leslie Pack Kaelbling, Tomas Lozano-Perez, Pulkit Agrawal
• Abstract要約: 本稿では,任意のポーズで新規オブジェクトインスタンス間の空間的関係を含むタスクを実行する手法を提案する。 私たちのフレームワークは、5-10のデモだけで新しいタスクを指定できるスケーラブルな方法を提供する。 本手法は,シミュレーションにおける3つのマルチオブジェクト再構成タスクと実ロボットを用いて試験を行う。
• 参考スコア（独自算出の注目度）: 39.562247503513156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for performing tasks involving spatial relations between novel object instances initialized in arbitrary poses directly from point cloud observations. Our framework provides a scalable way for specifying new tasks using only 5-10 demonstrations. Object rearrangement is formalized as the question of finding actions that configure task-relevant parts of the object in a desired alignment. This formalism is implemented in three steps: assigning a consistent local coordinate frame to the task-relevant object parts, determining the location and orientation of this coordinate frame on unseen object instances, and executing an action that brings these frames into the desired alignment. We overcome the key technical challenge of determining task-relevant local coordinate frames from a few demonstrations by developing an optimization method based on Neural Descriptor Fields (NDFs) and a single annotated 3D keypoint. An energy-based learning scheme to model the joint configuration of the objects that satisfies a desired relational task further improves performance. The method is tested on three multi-object rearrangement tasks in simulation and on a real robot. Project website, videos, and code: https://anthonysimeonov.github.io/r-ndf/
• Abstract（参考訳）: 本稿では,任意のポーズで初期化された新しいオブジェクトインスタンス間の空間的関係に関わるタスクを点雲観測から直接実行する手法を提案する。 私たちのフレームワークは、5-10のデモだけで新しいタスクを指定できるスケーラブルな方法を提供する。 オブジェクトのアレンジメントは、望ましいアライメントでオブジェクトのタスク関連部分を構成するアクションを見つける問題として形式化されます。 この形式は、3つのステップで実装される: タスク関連オブジェクト部品に一貫した局所座標フレームを割り当て、未確認オブジェクトインスタンス上の座標フレームの位置と向きを決定し、これらのフレームを望ましいアライメントに導くアクションを実行する。 ニューラルディスクリプタフィールド(ndfs)と1つの注釈付き3dキーポイントに基づく最適化手法を開発し,いくつかのデモンストレーションからタスク関連局所座標フレームを決定するという技術的課題を克服した。 所望のリレーショナルタスクを満たすオブジェクトのジョイント構成をモデル化するエネルギーベース学習方式により、さらに性能が向上する。 この手法はシミュレーションと実ロボットの3つのマルチオブジェクト再配置タスクでテストされる。 プロジェクトwebサイト、ビデオ、およびコード: https://anthonysimeonov.github.io/r-ndf/

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• A Modern Take on Visual Relationship Reasoning for Grasp Planning [10.543168383800532]
  本稿では,視覚的リレーショナル推論による把握計画を提案する。 D3GDは、97の異なるカテゴリから最大35のオブジェクトを持つビンピックシーンを含む、新しいテストベッドである。 また、新しいエンドツーエンドのトランスフォーマーベースの依存性グラフ生成モデルであるD3Gを提案する。
  論文  参考訳（メタデータ） (2024-09-03T16:30:48Z)
• DOCTR: Disentangled Object-Centric Transformer for Point Scene Understanding [7.470587868134298]
  ポイントシーン理解は、現実世界のシーンポイントクラウドを処理する上で難しいタスクです。 最近の最先端の手法はまず各オブジェクトを分割し、次に異なるサブタスクの複数のステージで独立に処理する。 本稿では,オブジェクト中心表現を探索するDECTR(Disentangled Object-Centric TRansformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:22:34Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)
• Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
  我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。 形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
  論文  参考訳（メタデータ） (2022-08-01T17:45:36Z)
• Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation [75.83319382105894]
  対象と対象の相対的なポーズを符号化するオブジェクト表現であるニューラル・ディスクリプタ・フィールド(NDF)を提案する。 NDFは、専門家ラベル付きキーポイントに依存しない3D自動エンコーディングタスクを通じて、自己教師型で訓練される。 我々のパフォーマンスは、オブジェクトインスタンスと6-DoFオブジェクトの両方のポーズを一般化し、2Dディスクリプタに依存する最近のベースラインを著しく上回ります。
  論文  参考訳（メタデータ） (2021-12-09T18:57:15Z)
• SORNet: Spatial Object-Centric Representations for Sequential Manipulation [39.88239245446054]
  シーケンシャルな操作タスクでは、ロボットが環境の状態を認識し、望ましい目標状態につながる一連のアクションを計画する必要がある。 本研究では,対象対象の標準視に基づくRGB画像からオブジェクト中心表現を抽出するSORNetを提案する。
  論文  参考訳（メタデータ） (2021-09-08T19:36:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。