論文の概要: Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via
Implicit Representations
- arxiv url: http://arxiv.org/abs/2104.01542v1
- Date: Sun, 4 Apr 2021 05:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 14:49:33.878587
- Title: Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via
Implicit Representations
- Title(参考訳): アクダクタンスと幾何学の相乗効果:インプシット表現による6-DoFグラフ検出
- Authors: Zhenyu Jiang, Yifeng Zhu, Maxwell Svetlik, Kuan Fang, Yuke Zhu
- Abstract要約: 本研究では,3次元再構築と把持学習が密接な関係にあることを示す。
共有表現のマルチタスク学習を通じて,把握能力と3次元再構築のシナジーを活用することを提案する。
本手法は,成功率の把握において,ベースラインを10%以上上回っている。
- 参考スコア(独自算出の注目度): 20.155920256334706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grasp detection in clutter requires the robot to reason about the 3D scene
from incomplete and noisy perception. In this work, we draw insight that 3D
reconstruction and grasp learning are two intimately connected tasks, both of
which require a fine-grained understanding of local geometry details. We thus
propose to utilize the synergies between grasp affordance and 3D reconstruction
through multi-task learning of a shared representation. Our model takes
advantage of deep implicit functions, a continuous and memory-efficient
representation, to enable differentiable training of both tasks. We train the
model on self-supervised grasp trials data in simulation. Evaluation is
conducted on a clutter removal task, where the robot clears cluttered objects
by grasping them one at a time. The experimental results in simulation and on
the real robot have demonstrated that the use of implicit neural
representations and joint learning of grasp affordance and 3D reconstruction
have led to state-of-the-art grasping results. Our method outperforms baselines
by over 10% in terms of grasp success rate. Additional results and videos can
be found at https://sites.google.com/view/rpl-giga2021
- Abstract(参考訳): クラッターの把持検出では、ロボットは不完全で騒がしい知覚から3dシーンを判断する必要がある。
本研究では,3次元再構成と把握学習が密接に結びついた2つの課題であり,どちらも局所幾何学的詳細を詳細に理解する必要があるという知見を導き出す。
そこで本稿では,共有表現のマルチタスク学習を通して,把持余裕と3次元再構成の相乗効果を利用する。
我々のモデルは、両方のタスクの異なる訓練を可能にするために、連続的およびメモリ効率の表現である深い暗黙の関数を利用する。
シミュレーションでは,自己教師付き把持実験データを用いてモデルを訓練する。
クラッタ除去タスクにおいて、ロボットが1度に1つ把握してクラッタオブジェクトをクリアする評価を行う。
シミュレーションおよび実ロボット実験の結果、暗黙のニューラル表現の使用と、把握能力と3次元再構成の連成学習が、最先端の把握結果をもたらすことを示した。
本手法は,成功率の把握において,ベースラインを10%以上向上させる。
追加の結果とビデオはhttps://sites.google.com/view/rpl-giga2021で見ることができる。
関連論文リスト
- Neural feels with neural fields: Visuo-tactile perception for in-hand
manipulation [57.60490773016364]
マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。
提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。
私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
論文 参考訳(メタデータ) (2023-12-20T22:36:37Z) - ScanERU: Interactive 3D Visual Grounding based on Embodied Reference
Understanding [67.21613160846299]
Embodied Reference Understanding (ERU) はこの懸念に対して最初に設計されている。
ScanERUと呼ばれる新しいデータセットは、このアイデアの有効性を評価するために構築されている。
論文 参考訳(メタデータ) (2023-03-23T11:36:14Z) - Learning 6-DoF Fine-grained Grasp Detection Based on Part Affordance
Grounding [20.308345257733894]
本稿では,言語指導型SHape grAsPingデータを用いた3D学習手法を提案する。
我々は、新しい2段階きめ細粒度ロボット把握ネットワーク(PIONEER)を設計する。
提案手法は, 参照識別, 割当推論, 3次元部分認識の把握において, 良好な性能と効率が得られることを示す。
論文 参考訳(メタデータ) (2023-01-27T07:00:54Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳(メタデータ) (2022-05-14T05:35:35Z) - Unsupervised Learning of Efficient Geometry-Aware Neural Articulated
Representations [89.1388369229542]
本稿では,3次元幾何認識による音声オブジェクトの表現学習のための教師なし手法を提案する。
私たちは、GANトレーニングで表現を学ぶことで、このニーズを回避します。
実験は,本手法の有効性を実証し,GANに基づくトレーニングにより,制御可能な3次元表現を,監督なしで学習できることを示す。
論文 参考訳(メタデータ) (2022-04-19T12:10:18Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳(メタデータ) (2022-04-02T03:48:03Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Indoor Semantic Scene Understanding using Multi-modality Fusion [0.0]
本研究では,環境のセマンティックマップを生成するために,2次元および3次元検出枝を融合したセマンティックシーン理解パイプラインを提案する。
収集したデータセットで評価された以前の研究とは異なり、私たちはアクティブなフォトリアリスティックなロボット環境でパイプラインをテストする。
我々の新規性には、投影された2次元検出とオブジェクトサイズに基づくモダリティ融合を用いた3次元提案の修正が含まれる。
論文 参考訳(メタデータ) (2021-08-17T13:30:02Z) - 3D Self-Supervised Methods for Medical Imaging [7.65168530693281]
本稿では,プロキシタスクの形式で,5種類の自己教師型手法の3次元バージョンを提案する。
提案手法は,未ラベルの3次元画像からニューラルネットワークの特徴学習を容易にし,専門家のアノテーションに必要なコストを削減することを目的としている。
開発したアルゴリズムは、3D Contrastive Predictive Coding, 3D Rotation Prediction, 3D Jigsaw puzzles, Relative 3D patch location, 3D Exemplar Networkである。
論文 参考訳(メタデータ) (2020-06-06T09:56:58Z) - Learning Object Placements For Relational Instructions by Hallucinating
Scene Representations [26.897316325189205]
単一入力画像から空間関係の集合に対する画素単位の物体配置確率を推定するための畳み込みニューラルネットワークを提案する。
本手法では,オブジェクトの画素関係確率や3次元モデルに対して,地上の真理データを必要としない。
実世界のデータと人間ロボット実験を用いて,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-01-23T12:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。