論文の概要: Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

• arxiv url: http://arxiv.org/abs/2306.07392v2
• Date: Sun, 25 Jun 2023 09:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 22:01:34.679640
• Title: Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering
• Title（参考訳）: ニューラルサーフェスレンダリングによるごちゃごちゃした場面におけるロボット把持6次元学習
• Authors: Snehal Jauhri, Ishikaa Lunawat, Georgia Chalvatzaki
• Abstract要約: NeuGraspNetは6DoFグリップ検出のための新しい手法である。 我々のアプローチは、グローバル(シーンレベル)とローカル(グラフレベル)のニューラルサーフェス表現の両方を学ぶ。 移動マニピュレータロボットを用いたNeuGraspNetの現実的適用性を示す。
• 参考スコア（独自算出の注目度）: 6.973530878601107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic manipulation is critical for admitting robotic agents to various application domains, like intelligent assistance. A major challenge therein is the effective 6DoF grasping of objects in cluttered environments from any viewpoint without requiring additional scene exploration. We introduce $\textit{NeuGraspNet}$, a novel method for 6DoF grasp detection that leverages recent advances in neural volumetric representations and surface rendering. Our approach learns both global (scene-level) and local (grasp-level) neural surface representations, enabling effective and fully implicit 6DoF grasp quality prediction, even in unseen parts of the scene. Further, we reinterpret grasping as a local neural surface rendering problem, allowing the model to encode the interaction between the robot's end-effector and the object's surface geometry. NeuGraspNet operates on single viewpoints and can sample grasp candidates in occluded scenes, outperforming existing implicit and semi-implicit baseline methods in the literature. We demonstrate the real-world applicability of NeuGraspNet with a mobile manipulator robot, grasping in open spaces with clutter by rendering the scene, reasoning about graspable areas of different objects, and selecting grasps likely to succeed without colliding with the environment. Visit our project website: https://sites.google.com/view/neugraspnet
• Abstract（参考訳）: ロボット操作は、インテリジェントなアシストなど、さまざまなアプリケーションドメインにロボットエージェントを認める上で重要である。 主な課題は、余分なシーン探索を必要とせず、あらゆる視点から乱雑な環境のオブジェクトを効果的に把握することである。 ニューラルボリューム表現と表面レンダリングの最近の進歩を活用した,6dof把握のための新しい手法である$\textit{neugraspnet}$を導入する。 提案手法は,グローバル(シーンレベル)とローカル(グレープレベル)のニューラルサーフェス表現の両方を学習し,シーンの未確認部分においても,効果的で完全に暗黙的な6DoFによる品質予測を可能にする。 さらに,把持を局所的な神経表面レンダリング問題として再解釈し,ロボットの終末効果と物体表面形状との相互作用をモデル化する。 NeuGraspNetは単一の視点で動作し、閉ざされたシーンの把握候補をサンプリングし、文学における既存の暗黙的および半単純的ベースライン法よりも優れた性能を発揮する。 我々は,移動マニピュレータロボットを用いたNeuGraspNetの現実的適用性を実演し,シーンをレンダリングし,異なる物体の把握可能な領域を推論し,環境と衝突することなく達成する可能性のある把握を選択することにより,空間を乱雑に把握する。 プロジェクトのwebサイト: https://sites.google.com/view/neugraspnet

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Language-Driven 6-DoF Grasp Detection Using Negative Prompt Guidance [13.246380364455494]
  乱れ点雲における言語駆動型6-DoFグリップ検出のための新しい手法を提案する。 提案した負のプロンプト戦略は、望ましくない物体から遠ざかりながら、検出プロセスを所望の物体に向ける。 そこで本手法では,ロボットに自然言語で目的の物体を把握できるように指示するエンド・ツー・エンド・エンドのフレームワークを実現する。
  論文  参考訳（メタデータ） (2024-07-18T18:24:51Z)
• Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
  我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。 ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-30T17:56:54Z)
• RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
  本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。 RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。 我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
  論文  参考訳（メタデータ） (2024-03-24T05:55:39Z)
• Click to Grasp: Zero-Shot Precise Manipulation via Visual Diffusion Descriptors [30.579707929061026]
  本研究は,ゼロショット設定における精密操作のための微細部分記述子の接地について検討する。 我々は、それを密接な意味部分対応タスクとしてフレーミングすることで、この問題に対処する。 我々のモデルは、同じオブジェクトの視覚的に異なるインスタンスのソースイメージからユーザ定義クリックを参照して、特定の部分を操作するためのグリップパポーズを返します。
  論文  参考訳（メタデータ） (2024-03-21T16:26:19Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Local Neural Descriptor Fields: Locally Conditioned Object Representations for Manipulation [10.684104348212742]
  限られた数のデモンストレーションから得られたオブジェクト操作スキルを一般化する手法を提案する。 我々のアプローチであるLocal Neural Descriptor Fields (L-NDF) は、物体の局所幾何学に定義されたニューラル記述子を利用する。 シミュレーションと現実世界の両方において、新しいポーズで新しいオブジェクトを操作するためのアプローチの有効性について説明する。
  論文  参考訳（メタデータ） (2023-02-07T16:37:19Z)
• Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception [31.009703947432026]
  本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。 この課題にインタラクティブな認識アプローチを導入する。 シミュレーションと実世界の両方において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-02T18:22:00Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes [50.303361537562715]
  6-DoFパラレルジャッジの分布を効率的に生成するエンドツーエンドネットワークを提案する。 観測された点群の6-DoF把握ポーズと幅を根付かせることで、把握表現の寸法を4-DoFに縮小することができます。 構造クラッタにおける未知物体のロボット把持実験では, 90%以上の成功率を達成し, 最近の最先端手法と比較して, 故障率を半分に削減した。
  論文  参考訳（メタデータ） (2021-03-25T20:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。