論文の概要: Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering
- arxiv url: http://arxiv.org/abs/2306.07392v4
- Date: Wed, 29 May 2024 07:58:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:31:12.070810
- Title: Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering
- Title（参考訳）: ニューラルサーフェスレンダリングによるクリーニングシーンにおけるAny-View 6DoFロボットグラスピングの学習
- Authors: Snehal Jauhri, Ishikaa Lunawat, Georgia Chalvatzaki,
- Abstract要約: この研究は、グリップをレンダリングとして再解釈し、6DoFグリップ検出の新しい方法であるNeuGraspNetを導入する。
NeuGraspNetは、モバイル操作のシナリオに共通するランダムな視点で動作し、既存の暗黙的および半単純的把握方法より優れている。
- 参考スコア（独自算出の注目度）: 6.185645393091031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A significant challenge for real-world robotic manipulation is the effective 6DoF grasping of objects in cluttered scenes from any single viewpoint without the need for additional scene exploration. This work reinterprets grasping as rendering and introduces NeuGraspNet, a novel method for 6DoF grasp detection that leverages advances in neural volumetric representations and surface rendering. It encodes the interaction between a robot's end-effector and an object's surface by jointly learning to render the local object surface and learning grasping functions in a shared feature space. The approach uses global (scene-level) features for grasp generation and local (grasp-level) neural surface features for grasp evaluation. This enables effective, fully implicit 6DoF grasp quality prediction, even in partially observed scenes. NeuGraspNet operates on random viewpoints, common in mobile manipulation scenarios, and outperforms existing implicit and semi-implicit grasping methods. The real-world applicability of the method has been demonstrated with a mobile manipulator robot, grasping in open, cluttered spaces. Project website at https://sites.google.com/view/neugraspnet
- Abstract（参考訳）: 現実世界のロボット操作において重要な課題は、追加のシーン探索を必要とせずに、あらゆる視点から散らばったシーンのオブジェクトを効果的につかむ6DoFである。
この研究は、グルーピングをレンダリングとして再解釈し、6DoFグルーピング検出のための新しい方法であるNeuGraspNetを導入し、ニューラルボリューム表現とサーフェスレンダリングの進歩を活用する。
ロボットのエンドエフェクタと物体の表面との相互作用を符号化し、共同学習により局所的な物体表面をレンダリングし、共有特徴空間における把握機能を学習する。
このアプローチでは、グローバルな(シーンレベルの)特徴をつかむために、局所的な(グラフレベルの)神経表面の特徴をつかむために使用します。
これにより、部分的に観察されたシーンであっても、有効で完全に暗黙的な6DoFのクオリティ予測が可能になる。
NeuGraspNetは、モバイル操作のシナリオに共通するランダムな視点で動作し、既存の暗黙的および半単純的把握方法より優れている。
この手法の現実的な適用性は、オープンで散らばった空間をつかむ移動マニピュレータロボットで実証されている。
Project website at https://sites.google.com/view/neugraspnet
関連論文リスト
- Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - Language-Driven 6-DoF Grasp Detection Using Negative Prompt Guidance [13.246380364455494]
乱れ点雲における言語駆動型6-DoFグリップ検出のための新しい手法を提案する。
提案した負のプロンプト戦略は、望ましくない物体から遠ざかりながら、検出プロセスを所望の物体に向ける。
そこで本手法では,ロボットに自然言語で目的の物体を把握できるように指示するエンド・ツー・エンド・エンドのフレームワークを実現する。
論文 参考訳（メタデータ） (2024-07-18T18:24:51Z) - Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。
ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
論文 参考訳（メタデータ） (2024-05-30T17:56:54Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳（メタデータ） (2024-03-24T05:55:39Z) - Learning Generalizable Feature Fields for Mobile Manipulation [25.903975572293056]
本稿では,実時間でのナビゲーションと操作の統一表現として機能する,シーンレベルの一般化可能なニューラル特徴場であるGeFFを提案する。
マニピュレータを備えた四足歩行ロボットにGeFFを配置することにより,本手法の有効性を実証する。
我々は,動的シーンでオープン語彙移動操作を行う場合,GeFFのオープンセットオブジェクトへの一般化能力と実行時間を評価する。
論文 参考訳（メタデータ） (2024-03-12T11:51:55Z) - Neural feels with neural fields: Visuo-tactile perception for in-hand
manipulation [57.60490773016364]
マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。
提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。
私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
論文 参考訳（メタデータ） (2023-12-20T22:36:37Z) - Local Neural Descriptor Fields: Locally Conditioned Object
Representations for Manipulation [10.684104348212742]
限られた数のデモンストレーションから得られたオブジェクト操作スキルを一般化する手法を提案する。
我々のアプローチであるLocal Neural Descriptor Fields (L-NDF) は、物体の局所幾何学に定義されたニューラル記述子を利用する。
シミュレーションと現実世界の両方において、新しいポーズで新しいオブジェクトを操作するためのアプローチの有効性について説明する。
論文 参考訳（メタデータ） (2023-02-07T16:37:19Z) - Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception [31.009703947432026]
本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。
この課題にインタラクティブな認識アプローチを導入する。
シミュレーションと実世界の両方において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-02-02T18:22:00Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z) - Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes [50.303361537562715]
6-DoFパラレルジャッジの分布を効率的に生成するエンドツーエンドネットワークを提案する。
観測された点群の6-DoF把握ポーズと幅を根付かせることで、把握表現の寸法を4-DoFに縮小することができます。
構造クラッタにおける未知物体のロボット把持実験では, 90%以上の成功率を達成し, 最近の最先端手法と比較して, 故障率を半分に削減した。
論文 参考訳（メタデータ） (2021-03-25T20:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。