論文の概要: Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
- arxiv url: http://arxiv.org/abs/2110.14217v1
- Date: Wed, 27 Oct 2021 07:02:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 15:15:26.247761
- Title: Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
- Title(参考訳): Dex-NeRF: ニューラルネットワークを用いた透明物体のグリップ
- Authors: Jeffrey Ichnowski, Yahav Avigal, Justin Kerr and Ken Goldberg
- Abstract要約: 既存の深度カメラは、透明な物体の幾何学を検出し、位置付けし、推測することが困難である。
我々は、ニューラル放射場(NeRF)を用いて透明物体の形状を検出し、局所化し、推測する。
ABB YuMi の物理実験において,NeRF と Dex-Net は透明物体に対する堅牢な把握を確実に計算し,90% と 100% を達成できることを示す。
- 参考スコア(独自算出の注目度): 23.933258829652186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to grasp and manipulate transparent objects is a major challenge
for robots. Existing depth cameras have difficulty detecting, localizing, and
inferring the geometry of such objects. We propose using neural radiance fields
(NeRF) to detect, localize, and infer the geometry of transparent objects with
sufficient accuracy to find and grasp them securely. We leverage NeRF's
view-independent learned density, place lights to increase specular
reflections, and perform a transparency-aware depth-rendering that we feed into
the Dex-Net grasp planner. We show how additional lights create specular
reflections that improve the quality of the depth map, and test a setup for a
robot workcell equipped with an array of cameras to perform transparent object
manipulation. We also create synthetic and real datasets of transparent objects
in real-world settings, including singulated objects, cluttered tables, and the
top rack of a dishwasher. In each setting we show that NeRF and Dex-Net are
able to reliably compute robust grasps on transparent objects, achieving 90%
and 100% grasp success rates in physical experiments on an ABB YuMi, on objects
where baseline methods fail.
- Abstract(参考訳): 透明な物体を掴んで操作する能力は、ロボットにとって大きな課題である。
既存の深度カメラは、そのような物体の形状の検出、局所化、推測が困難である。
本稿では,神経放射場(neural radiance fields:nerf)を用いて,透明物体の形状を精度良く検出・局所化・推定し,それらを安全に把握する手法を提案する。
我々は、NeRFのビュー非依存の学習密度を活用し、光を照らしてスペクトル反射を増大させ、Dex-Netグリッププランナーに入力する透過的な深度レンダリングを行う。
奥行きマップの品質を向上させるための鏡面反射を照明を追加する方法を示し、透明な物体操作を行うためのカメラアレイを備えたロボットワークセルのセットアップをテストする。
また、対話オブジェクト、散らばったテーブル、食器洗い機のトップラックなど、現実世界の設定で透明なオブジェクトの合成と実際のデータセットを作成します。
各設定において、NeRFとDex-Netは透明物体に対する堅牢な把握を確実に計算でき、ベースライン法が失敗するオブジェクト上のABB YuMiにおける物理実験において、90%と100%の成功率を達成できることを示す。
関連論文リスト
- Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳(メタデータ) (2024-03-07T00:00:02Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - TransTouch: Learning Transparent Objects Depth Sensing Through Sparse
Touches [23.87056600709768]
本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。
提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-09-18T01:55:17Z) - TRansPose: Large-Scale Multispectral Dataset for Transparent Object [9.638817331619302]
TRansPoseは、ステレオRGB-D、熱赤外(TIR)画像、オブジェクトポーズを組み合わせた最初の大規模マルチスペクトルデータセットである。
データセットには、43の家庭用品、27のリサイクル可能なゴミ、29の化学実験室相当品、12の非透明物体を含む99の透明物体が含まれている。
このデータはFLIR A65熱赤外カメラ、2台のIntel RealSense L515 RGB-Dカメラ、そしてフランカ・エミカ・パンダのロボットマニピュレータを用いて取得された。
論文 参考訳(メタデータ) (2023-07-11T05:32:21Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-09-26T21:29:50Z) - NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance
Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。
我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。
また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文 参考訳(メタデータ) (2022-03-03T18:49:57Z) - TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth
Completion and Grasping [46.6058840385155]
我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。
データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。
本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
論文 参考訳(メタデータ) (2022-02-17T06:50:20Z) - Seeing Glass: Joint Point Cloud and Depth Completion for Transparent
Objects [16.714074893209713]
TranspareNetはジョイントポイントクラウドとディープコンプリートコンプリート方式である。
透明な物体の深さを、散らかって複雑な場面で埋めることができます。
TranspareNetは、既存の最先端のディープコンプリートメソッドを複数のデータセットで上回っている。
論文 参考訳(メタデータ) (2021-09-30T21:09:09Z) - Through the Looking Glass: Neural 3D Reconstruction of Transparent
Shapes [75.63464905190061]
屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。
携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。
5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
論文 参考訳(メタデータ) (2020-04-22T23:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。