論文の概要: Deep SE(3)-Equivariant Geometric Reasoning for Precise Placement Tasks
- arxiv url: http://arxiv.org/abs/2404.13478v1
- Date: Sat, 20 Apr 2024 22:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 18:50:40.700519
- Title: Deep SE(3)-Equivariant Geometric Reasoning for Precise Placement Tasks
- Title(参考訳): 精密配置タスクのための深部SE(3)-等変幾何推論
- Authors: Ben Eisner, Yi Yang, Todor Davchev, Mel Vecerik, Jonathan Scholz, David Held,
- Abstract要約: 提案手法は,SE(3)-equivariant の精度の高い相対ポーズ予測手法を提案する。
この問題をSE(3)不変タスク固有のシーン表現の学習に分解して解決する。
本手法は,シミュレーションされた配置タスクにおいて,より正確な配置予測を行うことができることを示す。
- 参考スコア(独自算出の注目度): 24.721590424515043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many robot manipulation tasks can be framed as geometric reasoning tasks, where an agent must be able to precisely manipulate an object into a position that satisfies the task from a set of initial conditions. Often, task success is defined based on the relationship between two objects - for instance, hanging a mug on a rack. In such cases, the solution should be equivariant to the initial position of the objects as well as the agent, and invariant to the pose of the camera. This poses a challenge for learning systems which attempt to solve this task by learning directly from high-dimensional demonstrations: the agent must learn to be both equivariant as well as precise, which can be challenging without any inductive biases about the problem. In this work, we propose a method for precise relative pose prediction which is provably SE(3)-equivariant, can be learned from only a few demonstrations, and can generalize across variations in a class of objects. We accomplish this by factoring the problem into learning an SE(3) invariant task-specific representation of the scene and then interpreting this representation with novel geometric reasoning layers which are provably SE(3) equivariant. We demonstrate that our method can yield substantially more precise placement predictions in simulated placement tasks than previous methods trained with the same amount of data, and can accurately represent relative placement relationships data collected from real-world demonstrations. Supplementary information and videos can be found at https://sites.google.com/view/reldist-iclr-2023.
- Abstract(参考訳): 多くのロボット操作タスクは幾何学的推論タスクとしてフレーム化することができ、エージェントは初期条件からタスクを満たす位置にオブジェクトを正確に操作できなければならない。
多くの場合、タスクの成功は2つのオブジェクトの関係に基づいて定義されます。
そのような場合、解は対象とエージェントの初期位置と等しく、カメラのポーズと不変であるべきである。
これは、高次元のデモンストレーションから直接学習することでこの課題を解決しようとする学習システムにとっての課題である。
本研究では,SE(3)-同変を証明可能な精度の高いポーズ予測手法を提案する。
この問題をSE(3)不変なタスク固有のシーン表現の学習に分解し、SE(3)同変を証明可能な新しい幾何学的推論層と解釈することで解決する。
実世界の実演から収集した相対配置関係データを高精度に表現し,シミュレーションされた配置タスクにおいて,同じ量のデータで訓練された従来の方法よりも精度の高い配置予測が得られることを示す。
追加情報とビデオはhttps://sites.google.com/view/reldist-iclr-2023で見ることができる。
関連論文リスト
- GS-Pose: Category-Level Object Pose Estimation via Geometric and
Semantic Correspondence [5.500735640045456]
カテゴリーレベルのポーズ推定は、コンピュータビジョンやロボット工学における多くの潜在的な応用において難しい課題である。
本稿では,事前学習した基礎モデルから得られる幾何学的特徴と意味的特徴の両方を活用することを提案する。
これは、セマンティックな特徴がオブジェクトのテクスチャや外観に対して堅牢であるため、以前のメソッドよりもトレーニングするデータを大幅に少なくする。
論文 参考訳(メタデータ) (2023-11-23T02:35:38Z) - 3D-Aware Hypothesis & Verification for Generalizable Relative Object
Pose Estimation [69.73691477825079]
一般化可能なオブジェクトポーズ推定の問題に対処する新しい仮説検証フレームワークを提案する。
信頼性を計測するために,2つの入力画像から学習した3次元オブジェクト表現に3次元変換を明示的に適用する3D認識検証を導入する。
論文 参考訳(メタデータ) (2023-10-05T13:34:07Z) - Weakly-supervised 3D Pose Transfer with Keypoints [57.66991032263699]
3Dポーズ転送の主な課題は、1) 異なる文字で同じポーズを行うペアトレーニングデータの欠如、2) ターゲットメッシュからポーズと形状情報を分離すること、3) 異なるトポロジを持つメッシュに適用することの難しさである。
本稿では,これらの課題を克服するためのキーポイントベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-25T12:40:24Z) - Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and
Motion Estimation [49.56131393810713]
本稿では、SE(3)同変アーキテクチャと、この課題に教師なしで取り組むためのトレーニング戦略を提案する。
本手法は,0.25Mパラメータと0.92G FLOPを用いて,モデル性能と計算効率を両立させる。
論文 参考訳(メタデータ) (2023-06-08T22:55:32Z) - ShapeShift: Superquadric-based Object Pose Estimation for Robotic
Grasping [85.38689479346276]
現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。
本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
論文 参考訳(メタデータ) (2023-04-10T20:55:41Z) - Image to Sphere: Learning Equivariant Features for Efficient Pose
Prediction [3.823356975862006]
単一点推定を予測する方法は、対称性を持つ物体のポーズをうまく予測せず、不確実性を表現できない。
画像領域から3次元回転多様体への特徴量の新しいマッピングを提案する。
本稿では,オブジェクト指向予測における本手法の有効性を実証し,PASCAL3D+データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2023-02-27T16:23:19Z) - SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields [39.562247503513156]
本稿では,任意のポーズで新規オブジェクトインスタンス間の空間的関係を含むタスクを実行する手法を提案する。
私たちのフレームワークは、5-10のデモだけで新しいタスクを指定できるスケーラブルな方法を提供する。
本手法は,シミュレーションにおける3つのマルチオブジェクト再構成タスクと実ロボットを用いて試験を行う。
論文 参考訳(メタデータ) (2022-11-17T18:55:42Z) - Leveraging Equivariant Features for Absolute Pose Regression [9.30597356471664]
変換と回転の同変である畳み込みニューラルネットワークは,カメラの動きの表現を直接特徴空間に誘導することを示す。
次に、この幾何学的性質により、画像平面保存変換の全グループの下でトレーニングデータを暗黙的に増大させることができることを示す。
論文 参考訳(メタデータ) (2022-04-05T12:44:20Z) - Self-Supervised 3D Hand Pose Estimation from monocular RGB via
Contrastive Learning [50.007445752513625]
本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。
我々は、不変および同変のコントラスト目的の影響を実験的に検討した。
追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-10T17:48:57Z) - Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。
我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。
Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-04T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。