論文の概要: Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects

• arxiv url: http://arxiv.org/abs/2110.14217v1
• Date: Wed, 27 Oct 2021 07:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 15:15:26.247761
• Title: Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
• Title（参考訳）: Dex-NeRF: ニューラルネットワークを用いた透明物体のグリップ
• Authors: Jeffrey Ichnowski, Yahav Avigal, Justin Kerr and Ken Goldberg
• Abstract要約: 既存の深度カメラは、透明な物体の幾何学を検出し、位置付けし、推測することが困難である。 我々は、ニューラル放射場(NeRF)を用いて透明物体の形状を検出し、局所化し、推測する。 ABB YuMi の物理実験において,NeRF と Dex-Net は透明物体に対する堅牢な把握を確実に計算し,90% と 100% を達成できることを示す。
• 参考スコア（独自算出の注目度）: 23.933258829652186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to grasp and manipulate transparent objects is a major challenge for robots. Existing depth cameras have difficulty detecting, localizing, and inferring the geometry of such objects. We propose using neural radiance fields (NeRF) to detect, localize, and infer the geometry of transparent objects with sufficient accuracy to find and grasp them securely. We leverage NeRF's view-independent learned density, place lights to increase specular reflections, and perform a transparency-aware depth-rendering that we feed into the Dex-Net grasp planner. We show how additional lights create specular reflections that improve the quality of the depth map, and test a setup for a robot workcell equipped with an array of cameras to perform transparent object manipulation. We also create synthetic and real datasets of transparent objects in real-world settings, including singulated objects, cluttered tables, and the top rack of a dishwasher. In each setting we show that NeRF and Dex-Net are able to reliably compute robust grasps on transparent objects, achieving 90% and 100% grasp success rates in physical experiments on an ABB YuMi, on objects where baseline methods fail.
• Abstract（参考訳）: 透明な物体を掴んで操作する能力は、ロボットにとって大きな課題である。 既存の深度カメラは、そのような物体の形状の検出、局所化、推測が困難である。 本稿では,神経放射場(neural radiance fields:nerf)を用いて,透明物体の形状を精度良く検出・局所化・推定し,それらを安全に把握する手法を提案する。 我々は、NeRFのビュー非依存の学習密度を活用し、光を照らしてスペクトル反射を増大させ、Dex-Netグリッププランナーに入力する透過的な深度レンダリングを行う。 奥行きマップの品質を向上させるための鏡面反射を照明を追加する方法を示し、透明な物体操作を行うためのカメラアレイを備えたロボットワークセルのセットアップをテストする。 また、対話オブジェクト、散らばったテーブル、食器洗い機のトップラックなど、現実世界の設定で透明なオブジェクトの合成と実際のデータセットを作成します。 各設定において、NeRFとDex-Netは透明物体に対する堅牢な把握を確実に計算でき、ベースライン法が失敗するオブジェクト上のABB YuMiにおける物理実験において、90%と100%の成功率を達成できることを示す。

関連論文リスト

• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation [7.395916591967461]
  既存の手法では、透明物体に挑戦するための完全な深度マップの再構築が困難である。 近年の研究では、透明な物体を持つシーンにおける深度知覚のために、ニューラル放射場(NeRF)がうまく機能していることが示されている。 透明物体の深度知覚とトレーニング速度を改善する手法であるResidual-NeRFを提案する。
  論文  参考訳（メタデータ） (2024-05-10T01:53:29Z)
• ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera [9.212504138203222]
  RGB-Dアクティブステレオカメラを用いた6自由度グリップ検出ネットワークASGraspを提案する。 本システムでは, 透明物体形状再構成において, 生のIRおよびRGB画像を直接利用できることで, 自己を識別する。 実験により、ASGraspは、一般化可能な透明物体把握において90%以上の成功率を達成できることが示された。
  論文  参考訳（メタデータ） (2024-05-09T09:44:51Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation [50.10282876199739]
  本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
  論文  参考訳（メタデータ） (2023-11-21T07:19:47Z)
• MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
  6-DoFロボットの把握は長続きするが未解決の問題だ。 近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。 我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-09-26T21:29:50Z)
• NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields [54.27264716713327]
  シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。 我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。 また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
  論文  参考訳（メタデータ） (2022-03-03T18:49:57Z)
• TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and Grasping [46.6058840385155]
  我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。 データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。 本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-02-17T06:50:20Z)
• Seeing Glass: Joint Point Cloud and Depth Completion for Transparent Objects [16.714074893209713]
  TranspareNetはジョイントポイントクラウドとディープコンプリートコンプリート方式である。 透明な物体の深さを、散らかって複雑な場面で埋めることができます。 TranspareNetは、既存の最先端のディープコンプリートメソッドを複数のデータセットで上回っている。
  論文  参考訳（メタデータ） (2021-09-30T21:09:09Z)
• Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes [75.63464905190061]
  屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
  論文  参考訳（メタデータ） (2020-04-22T23:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。