論文の概要: NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2203.01913v1
• Date: Thu, 3 Mar 2022 18:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:49:08.985925
• Title: NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields
• Title（参考訳）: NeRF-Supervision:ニューラル・ラジアンス・フィールドから高密度物体記述子を学習する
• Authors: Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Tsung-Yi Lin, Alberto Rodriguez, Phillip Isola
• Abstract要約: シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。 我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。 また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
• 参考スコア（独自算出の注目度）: 54.27264716713327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thin, reflective objects such as forks and whisks are common in our daily lives, but they are particularly challenging for robot perception because it is hard to reconstruct them using commodity RGB-D cameras or multi-view stereo techniques. While traditional pipelines struggle with objects like these, Neural Radiance Fields (NeRFs) have recently been shown to be remarkably effective for performing view synthesis on objects with thin structures or reflective materials. In this paper we explore the use of NeRF as a new source of supervision for robust robot vision systems. In particular, we demonstrate that a NeRF representation of a scene can be used to train dense object descriptors. We use an optimized NeRF to extract dense correspondences between multiple views of an object, and then use these correspondences as training data for learning a view-invariant representation of the object. NeRF's usage of a density field allows us to reformulate the correspondence problem with a novel distribution-of-depths formulation, as opposed to the conventional approach of using a depth map. Dense correspondence models supervised with our method significantly outperform off-the-shelf learned descriptors by 106% (PCK@3px metric, more than doubling performance) and outperform our baseline supervised with multi-view stereo by 29%. Furthermore, we demonstrate the learned dense descriptors enable robots to perform accurate 6-degree of freedom (6-DoF) pick and place of thin and reflective objects.
• Abstract（参考訳）: フォークやウイスキーのような薄い反射性のある物体は日常生活では一般的だが、一般的なrgb-dカメラやマルチビューステレオ技術では復元が難しいため、ロボットの知覚では特に困難である。 従来のパイプラインはこのような物体と競合するが、ニューラル・レージアンス・フィールド(Neural Radiance Fields, NeRF)は近年、薄い構造や反射材料を持つ物体のビュー合成に極めて効果的であることが示されている。 本稿では,ロバストなロボットビジョンシステムのための新しい監視源として,NeRFの利用について検討する。 特に,シーンのNeRF表現が高密度オブジェクト記述子を訓練するのに有効であることを示す。 オブジェクトの複数のビュー間の密接な対応を抽出するために最適化されたnerfを使用し、これらの対応をオブジェクトのビュー不変表現を学ぶためのトレーニングデータとして使用する。 NeRFの密度場の利用により,従来の深度マップの手法とは対照的に,新しい深度分布定式化による対応問題を再構築することができる。 また,本手法により教師されたディエンス対応モデルは,市販の学習記述子を106%上回り(PCK@3px,倍増性能),ベースラインを29%上回る結果を得た。 さらに、学習した高密度記述子は、ロボットが6自由度(6自由度)の正確な選択と、細く反射的な物体の配置を行えることを実証する。

関連論文リスト

• Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation [7.395916591967461]
  既存の手法では、透明物体に挑戦するための完全な深度マップの再構築が困難である。 近年の研究では、透明な物体を持つシーンにおける深度知覚のために、ニューラル放射場(NeRF)がうまく機能していることが示されている。 透明物体の深度知覚とトレーニング速度を改善する手法であるResidual-NeRFを提案する。
  論文  参考訳（メタデータ） (2024-05-10T01:53:29Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
  Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。 既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:05Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields [62.89785701659139]
  我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。 NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
  論文  参考訳（メタデータ） (2022-09-24T18:34:22Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。