論文の概要: Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation

• arxiv url: http://arxiv.org/abs/2405.06181v1
• Date: Fri, 10 May 2024 01:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:57:10.597818
• Title: Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation
• Title（参考訳）: 残留NeRF:透明物体マニピュレーションのための残留NeRFの学習
• Authors: Bardienus P. Duisterhof, Yuemin Mao, Si Heng Teng, Jeffrey Ichnowski,
• Abstract要約: 既存の手法では、透明物体に挑戦するための完全な深度マップの再構築が困難である。 近年の研究では、透明な物体を持つシーンにおける深度知覚のために、ニューラル放射場(NeRF)がうまく機能していることが示されている。 透明物体の深度知覚とトレーニング速度を改善する手法であるResidual-NeRFを提案する。
• 参考スコア（独自算出の注目度）: 7.395916591967461
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transparent objects are ubiquitous in industry, pharmaceuticals, and households. Grasping and manipulating these objects is a significant challenge for robots. Existing methods have difficulty reconstructing complete depth maps for challenging transparent objects, leaving holes in the depth reconstruction. Recent work has shown neural radiance fields (NeRFs) work well for depth perception in scenes with transparent objects, and these depth maps can be used to grasp transparent objects with high accuracy. NeRF-based depth reconstruction can still struggle with especially challenging transparent objects and lighting conditions. In this work, we propose Residual-NeRF, a method to improve depth perception and training speed for transparent objects. Robots often operate in the same area, such as a kitchen. By first learning a background NeRF of the scene without transparent objects to be manipulated, we reduce the ambiguity faced by learning the changes with the new object. We propose training two additional networks: a residual NeRF learns to infer residual RGB values and densities, and a Mixnet learns how to combine background and residual NeRFs. We contribute synthetic and real experiments that suggest Residual-NeRF improves depth perception of transparent objects. The results on synthetic data suggest Residual-NeRF outperforms the baselines with a 46.1% lower RMSE and a 29.5% lower MAE. Real-world qualitative experiments suggest Residual-NeRF leads to more robust depth maps with less noise and fewer holes. Website: https://residual-nerf.github.io
• Abstract（参考訳）: 透明な物体は、産業、医薬品、家庭に広く分布している。 これらのオブジェクトのグラッピングと操作は、ロボットにとって重要な課題である。 既存の手法では、透明な物体に挑戦するための完全な深度マップの再構築が困難であり、深度復元に穴が開いている。 近年の研究では、透明物体のシーンにおける深度知覚のためにニューラル放射場(NeRF)がうまく機能しており、これらの深度マップは高精度に透明物体を把握できる。 NeRFベースの深度再構成は、特に困難な透明な物体や照明条件に苦戦する可能性がある。 本研究では,透明物体の深度知覚とトレーニング速度を改善する手法であるResidual-NeRFを提案する。 ロボットは台所など、しばしば同じエリアで動作します。 まず、透明な物体を操作せずに背景のNeRFを学習することにより、新しい物体で変化を学習する際のあいまいさを低減する。 残差NeRFは残差RGB値と密度を推定し、Mixnetは背景と残差NeRFを結合する方法を学ぶ。 我々は,Residual-NeRFが透明物体の深度知覚を改善することを示唆する合成および実実験に貢献する。 合成データから、Residual-NeRFは、RMSEの46.1%、MAEの29.5%でベースラインを上回っていることが示唆された。 実世界の定性的実験は、残留-NeRFがより頑丈で、ノイズが少なく、穴も少なくなることを示唆している。 ウェブサイト:https://residual-nerf.github.io

関連論文リスト

• ASGrasp: Generalizable Transparent Object Reconstruction and Grasping from RGB-D Active Stereo Camera [9.212504138203222]
  RGB-Dアクティブステレオカメラを用いた6自由度グリップ検出ネットワークASGraspを提案する。 本システムでは, 透明物体形状再構成において, 生のIRおよびRGB画像を直接利用できることで, 自己を識別する。 実験により、ASGraspは、一般化可能な透明物体把握において90%以上の成功率を達成できることが示された。
  論文  参考訳（メタデータ） (2024-05-09T09:44:51Z)
• SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects [7.529049797077149]
  市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。 NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。 提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
  論文  参考訳（メタデータ） (2024-03-28T17:28:32Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Neural Radiance Fields for Transparent Object Using Visual Hull [0.8158530638728501]
  最近導入されたNeural Radiance Fields (NeRF) はビュー合成法である。 まず,透明物体の3次元形状を視覚的包絡を用いて再構成する。 第二に、スネルの法則に従って透明物体の内部の光線の屈折をシミュレートする。最後に、屈折した光線を通して点をサンプリングし、それをNeRFに挿入する。
  論文  参考訳（メタデータ） (2023-12-13T13:15:19Z)
• NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields [62.89785701659139]
  我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。 NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
  論文  参考訳（メタデータ） (2022-09-24T18:34:22Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields [54.27264716713327]
  シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。 我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。 また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
  論文  参考訳（メタデータ） (2022-03-03T18:49:57Z)
• Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects [23.933258829652186]
  既存の深度カメラは、透明な物体の幾何学を検出し、位置付けし、推測することが困難である。 我々は、ニューラル放射場(NeRF)を用いて透明物体の形状を検出し、局所化し、推測する。 ABB YuMi の物理実験において,NeRF と Dex-Net は透明物体に対する堅牢な把握を確実に計算し,90% と 100% を達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-27T07:02:53Z)
• Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
  DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。 我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
  論文  参考訳（メタデータ） (2021-07-06T17:58:35Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。