論文の概要: DeformerNet: A Deep Learning Approach to 3D Deformable Object
Manipulation
- arxiv url: http://arxiv.org/abs/2107.08067v1
- Date: Fri, 16 Jul 2021 18:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 13:31:01.052824
- Title: DeformerNet: A Deep Learning Approach to 3D Deformable Object
Manipulation
- Title(参考訳): DeformerNet: 三次元変形可能なオブジェクト操作に対するディープラーニングアプローチ
- Authors: Bao Thach, Alan Kuntz, Tucker Hermans
- Abstract要約: 本稿では,DeformerNetと呼ばれるディープニューラルネットワークを利用した3次元変形可能なオブジェクト操作手法を提案する。
状態表現として3Dポイントクラウドを明示的に使用し、3D機能を学ぶためにポイントクラウドに畳み込みニューラルネットワークを適用します。
DeformerNetは、一度エンドツーエンドでトレーニングを行った後、変形可能なオブジェクトの現在の点雲とターゲット点雲の形状を直接ロボットグリップパー位置の所望の変位にマッピングする。
- 参考スコア(独自算出の注目度): 5.733365759103406
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we propose a novel approach to 3D deformable object
manipulation leveraging a deep neural network called DeformerNet. Controlling
the shape of a 3D object requires an effective state representation that can
capture the full 3D geometry of the object. Current methods work around this
problem by defining a set of feature points on the object or only deforming the
object in 2D image space, which does not truly address the 3D shape control
problem. Instead, we explicitly use 3D point clouds as the state representation
and apply Convolutional Neural Network on point clouds to learn the 3D
features. These features are then mapped to the robot end-effector's position
using a fully-connected neural network. Once trained in an end-to-end fashion,
DeformerNet directly maps the current point cloud of a deformable object, as
well as a target point cloud shape, to the desired displacement in robot
gripper position. In addition, we investigate the problem of predicting the
manipulation point location given the initial and goal shape of the object.
- Abstract(参考訳): 本稿では,DeformerNetと呼ばれるディープニューラルネットワークを利用した3次元変形可能なオブジェクト操作手法を提案する。
3dオブジェクトの形状を制御するには、オブジェクトの完全な3d形状をキャプチャできる効果的な状態表現が必要である。
現在の手法は、オブジェクト上の特徴点のセットを定義したり、オブジェクトを2次元画像空間でしか変形させることによってこの問題を回避する。
代わりに、3dポイントクラウドを状態表現として明示的に使用し、ポイントクラウドに畳み込みニューラルネットワークを適用して3d機能を学びます。
これらの機能は、完全に接続されたニューラルネットワークを使用して、ロボットのエンドエフェクタの位置にマッピングされる。
DeformerNetは、一度エンドツーエンドでトレーニングを行った後、変形可能なオブジェクトの現在の点雲とターゲット点雲の形状を直接ロボットグリップパー位置の所望の変位にマッピングする。
さらに,物体の初期形状と目標形状を考慮した操作点位置の予測問題についても検討した。
関連論文リスト
- DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects [13.138509669247508]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分ビューポイントクラウドと目標形状のポイントクラウドで動作する。
この形状埋め込みにより、ロボットは必要なロボットのエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習することができる。
論文 参考訳(メタデータ) (2023-05-08T04:08:06Z) - Neural Correspondence Field for Object Pose Estimation [67.96767010122633]
1枚のRGB画像から3次元モデルで剛体物体の6DoFポーズを推定する手法を提案する。
入力画像の画素で3次元オブジェクト座標を予測する古典的対応法とは異なり,提案手法はカメラフラストラムでサンプリングされた3次元クエリポイントで3次元オブジェクト座標を予測する。
論文 参考訳(メタデータ) (2022-07-30T01:48:23Z) - Points2NeRF: Generating Neural Radiance Fields from 3D point cloud [0.0]
ニューラルラジアンス場(NeRF)として3次元物体を表現することを提案する。
ハイパーネットワークのパラダイムを活用して、モデルをトレーニングして、関連するカラー値を持つ3Dポイントクラウドを取ります。
提案手法は効率的な3次元オブジェクト表現を提供し,既存手法に対するいくつかの利点を提供する。
論文 参考訳(メタデータ) (2022-06-02T20:23:33Z) - Learning Visual Shape Control of Novel 3D Deformable Objects from
Partial-View Point Clouds [7.1659268120093635]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分的な視点クラウドと目標形状の点クラウドで動作し、オブジェクト形状の低次元表現を学習する。
論文 参考訳(メタデータ) (2021-10-10T02:34:57Z) - KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control [64.46042014759671]
keypointdeformerは、自動検出された3dキーポイントによる形状制御の教師なし方式である。
本手法は, 直観的かつ意味論的に形状変形の制御を行う。
論文 参考訳(メタデータ) (2021-04-22T17:59:08Z) - ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。
不規則な3D点雲を通常の2Dカラー画像に変換する。
多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
論文 参考訳(メタデータ) (2020-12-05T13:19:55Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳(メタデータ) (2020-08-24T21:51:29Z) - Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic
Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。
3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。
我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文 参考訳(メタデータ) (2020-08-04T13:56:19Z) - DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
LIDARデータに対する高速な1段3次元物体検出法を提案する。
我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。
提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
論文 参考訳(メタデータ) (2020-04-02T17:48:50Z) - Hypernetwork approach to generating point clouds [18.67883065951206]
私たちは、ポイントを3D形状にマップするように訓練された特定のニューラルネットワークの重みを返すハイパーネットワークを構築します。
推定した事前分布からポイントバイポイントサンプリングを用いて、特定の3次元形状を生成することができる。
ハイパーネットワークは、現実的な3次元形状を再構築するために訓練されたオートエンコーダアーキテクチャに基づいているため、ターゲットネットワーク重みは3次元形状の表面のパラメトリゼーションと見なすことができる。
論文 参考訳(メタデータ) (2020-02-10T11:09:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。