論文の概要: GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and
Specular Objects Using Generalizable NeRF
- arxiv url: http://arxiv.org/abs/2210.06575v1
- Date: Wed, 12 Oct 2022 20:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 17:19:11.046209
- Title: GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and
Specular Objects Using Generalizable NeRF
- Title(参考訳): grabnerf: 一般化nerfを用いた透明・鏡面物体の多視点6自由度把握検出
- Authors: Qiyu Dai, Yan Zhu, Yiran Geng, Ciyu Ruan, Jiazhao Zhang, He Wang
- Abstract要約: 本稿では,マルチビューRGBベースの6-DoFグリップ検出ネットワークGraspNeRFを提案する。
既存のNeRFベースの3-DoFグリップ検出手法と比較して,RGB入力の少ないゼロショットNeRF構成を実現し,リアルタイムに6-DoFグリップを確実に検出できる。
学習データには, 散らばったテーブルトップシーンで把握する大規模フォトリアリスティックなドメインランダム化合成データセットを生成する。
- 参考スコア(独自算出の注目度): 7.47805672405939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we tackle 6-DoF grasp detection for transparent and specular
objects, which is an important yet challenging problem in vision-based robotic
systems, due to the failure of depth cameras in sensing their geometry. We, for
the first time, propose a multiview RGB-based 6-DoF grasp detection network,
GraspNeRF, that leverages the generalizable neural radiance field (NeRF) to
achieve material-agnostic object grasping in clutter. Compared to the existing
NeRF-based 3-DoF grasp detection methods that rely on densely captured input
images and time-consuming per-scene optimization, our system can perform
zero-shot NeRF construction with sparse RGB inputs and reliably detect 6-DoF
grasps, both in real-time. The proposed framework jointly learns generalizable
NeRF and grasp detection in an end-to-end manner, optimizing the scene
representation construction for the grasping. For training data, we generate a
large-scale photorealistic domain-randomized synthetic dataset of grasping in
cluttered tabletop scenes that enables direct transfer to the real world. Our
extensive experiments in synthetic and real-world environments demonstrate that
our method significantly outperforms all the baselines in all the experiments
while remaining in real-time.
- Abstract(参考訳): 本研究では,視覚に基づくロボットシステムにおいて重要な課題である,透視・鏡視対象物に対する6自由度把持検出に取り組んだ。
我々は初めて、一般化可能なニューラル放射場(NeRF)を活用するマルチビューRGBベースの6-DoFグリップ検出ネットワークGraspNeRFを提案する。
高精度に撮像された入力画像とシーンごとの時間的最適化を頼りにしている既存のNeRFベースの3DoFグリップ検出手法と比較して,本システムは低RGB入力によるゼロショットNeRF構築を行い,同時に6-DoFグリップをリアルタイムに確実に検出する。
提案フレームワークは,一般化可能なNeRFとグリップ検出をエンドツーエンドで共同で学習し,シーン表現構築を最適化する。
学習データとして,大規模フォトリアリスティックなドメインランダム化合成データセットを生成し,実際の世界への直接転送を可能にする。
人工環境および実環境環境における広範囲な実験により,本手法は実時間で残しながら,全ての実験のベースラインを大幅に上回ることを示した。
関連論文リスト
- Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳(メタデータ) (2024-03-07T00:00:02Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - STOPNet: Multiview-based 6-DoF Suction Detection for Transparent Objects
on Production Lines [9.258345770382688]
STOPNetは生産ライン上での6-DoFオブジェクトの吸引検出のためのフレームワークである。
本稿では,マルチビューステレオに基づくRGB入力のみに依存して,生産ライン上のシーンを再構築する新しいフレームワークを提案する。
本手法は,シミュレーションと実世界の両方において,新しい環境,新しいアレンジ,新しいオブジェクトに一般化する。
論文 参考訳(メタデータ) (2023-10-09T13:39:06Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - Fast Fourier Convolution Based Remote Sensor Image Object Detection for
Earth Observation [0.0]
リモートセンシングオブジェクト検出のための周波数対応特徴ピラミッドフレームワーク(FFPF)を提案する。
F-ResNetは、周波数領域の畳み込みをバックボーンの各ステージに差し込み、スペクトルコンテキスト情報を知覚するために提案される。
BSFPNは、双方向サンプリング戦略とスキップ接続を用いて、異なるスケールの物体の特徴の関連をより良くモデル化するように設計されている。
論文 参考訳(メタデータ) (2022-09-01T15:50:58Z) - NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance
Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。
我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。
また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文 参考訳(メタデータ) (2022-03-03T18:49:57Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳(メタデータ) (2021-12-20T17:40:48Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。