論文の概要: DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects
- arxiv url: http://arxiv.org/abs/2305.04449v3
- Date: Mon, 19 Feb 2024 09:09:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 06:57:33.967098
- Title: DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects
- Title（参考訳）: DeformerNet:3次元変形可能な物体のバイマニピュレーション学習
- Authors: Bao Thach, Brian Y. Cho, Shing-Hei Ho, Tucker Hermans, Alan Kuntz
- Abstract要約: 弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分ビューポイントクラウドと目標形状のポイントクラウドで動作する。
この形状埋め込みにより、ロボットは必要なロボットのエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習することができる。
- 参考スコア（独自算出の注目度）: 13.138509669247508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Applications in fields ranging from home care to warehouse fulfillment to
surgical assistance require robots to reliably manipulate the shape of 3D
deformable objects. Analytic models of elastic, 3D deformable objects require
numerous parameters to describe the potentially infinite degrees of freedom
present in determining the object's shape. Previous attempts at performing 3D
shape control rely on hand-crafted features to represent the object shape and
require training of object-specific control models. We overcome these issues
through the use of our novel DeformerNet neural network architecture, which
operates on a partial-view point cloud of the manipulated object and a point
cloud of the goal shape to learn a low-dimensional representation of the object
shape. This shape embedding enables the robot to learn a visual servo
controller that computes the desired robot end-effector action to iteratively
deform the object toward the target shape. We demonstrate both in simulation
and on a physical robot that DeformerNet reliably generalizes to object shapes
and material stiffness not seen during training, including ex vivo chicken
muscle tissue. Crucially, using DeformerNet, the robot successfully
accomplishes three surgical sub-tasks: retraction (moving tissue aside to
access a site underneath it), tissue wrapping (a sub-task in procedures like
aortic stent placements), and connecting two tubular pieces of tissue (a
sub-task in anastomosis).
- Abstract（参考訳）: ホームケアから倉庫のフルフィルメント、外科支援まで幅広い分野の応用には、ロボットが3d変形可能な物体の形を確実に操作する必要がある。
弾性のある3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する無限の自由度を記述するために多くのパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
我々は,操作対象の部分視点点クラウドと目標形状の点クラウドを用いて,オブジェクト形状の低次元表現を学習する新しいdeformernetニューラルネットワークアーキテクチャを用いて,これらの問題を克服した。
この形状埋め込みにより、ロボットは所望のロボットエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習し、対象の形状に向かって物体を反復的に変形させることができる。
DeformerNetがトレーニング中に見えない物体の形状や材料硬さ、例えば外生鶏の筋肉組織に確実に一般化する物理ロボットのシミュレーションと実演を行った。
DeformerNetを使って、このロボットは3つの手術的なサブタスクをうまく達成する。リトラクション(組織をその下にある部位へアクセスするために移動させる)、組織包み(大動脈ステントの配置のような手順におけるサブタスク)、そして2つの管状組織(肛門のサブタスク)を接続する。
関連論文リスト
- SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。
SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。
SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-01T21:23:03Z) - Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking [6.003255659803736]
本研究では,その非変形状態における物体のメッシュであるテンプレートメッシュと,同一物体の変形点雲を入力とする手法を開発する。
トレーニングしたモデルでは,3000頂点のテンプレートメッシュと5,000点の変形点雲を用いて,58Hzの速度でメッシュ再構成と追跡を行うことができる。
ダウンストリームアプリケーションの例は、操作されたオブジェクトの状態からオンラインフィードバックを必要とするロボットハンドの制御アルゴリズムである。
論文 参考訳（メタデータ） (2023-11-05T19:59:36Z) - DefGoalNet: Contextual Goal Learning from Demonstrations For Deformable
Object Manipulation [11.484820908345563]
変形可能な物体の目標形状を学習するためのニューラルネットワークDefGoalNetを開発した。
シミュレーションと物理ロボットの両方において,本手法の有効性を示す。
論文 参考訳（メタデータ） (2023-09-25T18:54:32Z) - ShapeShift: Superquadric-based Object Pose Estimation for Robotic
Grasping [85.38689479346276]
現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。
本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
論文 参考訳（メタデータ） (2023-04-10T20:55:41Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - Learning Visual Shape Control of Novel 3D Deformable Objects from
Partial-View Point Clouds [7.1659268120093635]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分的な視点クラウドと目標形状の点クラウドで動作し、オブジェクト形状の低次元表現を学習する。
論文 参考訳（メタデータ） (2021-10-10T02:34:57Z) - Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ
Rendering from a Single Image [58.69732754597448]
椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか?
単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
論文 参考訳（メタデータ） (2021-08-05T16:20:12Z) - DeformerNet: A Deep Learning Approach to 3D Deformable Object
Manipulation [5.733365759103406]
本稿では,DeformerNetと呼ばれるディープニューラルネットワークを利用した3次元変形可能なオブジェクト操作手法を提案する。
状態表現として3Dポイントクラウドを明示的に使用し、3D機能を学ぶためにポイントクラウドに畳み込みニューラルネットワークを適用します。
DeformerNetは、一度エンドツーエンドでトレーニングを行った後、変形可能なオブジェクトの現在の点雲とターゲット点雲の形状を直接ロボットグリップパー位置の所望の変位にマッピングする。
論文 参考訳（メタデータ） (2021-07-16T18:20:58Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Learning to Rearrange Deformable Cables, Fabrics, and Bags with
Goal-Conditioned Transporter Networks [36.90218756798642]
ケーブル、布、バッグなどの変形可能な物体を再配置し、操作することは、ロボット操作における長年の課題である。
1D, 2D, 3Dの変形可能な構造を持つシミュレーションベンチマークスイートを開発した。
本稿では,ロボット操作学習のためのモデルアーキテクチャであるTransporter Networksに目標条件を組み込むことを提案する。
論文 参考訳（メタデータ） (2020-12-06T22:21:54Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳（メタデータ） (2020-07-22T13:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。