論文の概要: SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field
- arxiv url: http://arxiv.org/abs/2403.14366v1
- Date: Thu, 21 Mar 2024 12:49:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:18:45.508577
- Title: SurroundSDF: Implicit 3D Scene Understanding Based on Signed Distance Field
- Title(参考訳): SurroundSDF:符号付き距離場に基づく3次元シーン理解
- Authors: Lizhe Liu, Bohua Wang, Hongwei Xie, Daqi Liu, Li Liu, Zhiqiang Tian, Kuiyuan Yang, Bing Wang,
- Abstract要約: そこで我々は,SurroundSDFを提案し,署名された距離場(SDF)と周辺画像からの連続知覚のための意味場を暗黙的に予測する。
具体的には、クエリベースのアプローチを導入し、Eikonalの定式化に制約されたSDFを用いて障害物の表面を正確に記述する。
正確なSDF基底事実が存在しないことを考慮し,サンドウィッチ・アイコン公式(Sandwich Eikonal formulation)と呼ばれる,SDFの弱教師付きパラダイムを提案する。
- 参考スコア(独自算出の注目度): 18.110716280650514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-centric 3D environment understanding is both vital and challenging for autonomous driving systems. Recently, object-free methods have attracted considerable attention. Such methods perceive the world by predicting the semantics of discrete voxel grids but fail to construct continuous and accurate obstacle surfaces. To this end, in this paper, we propose SurroundSDF to implicitly predict the signed distance field (SDF) and semantic field for the continuous perception from surround images. Specifically, we introduce a query-based approach and utilize SDF constrained by the Eikonal formulation to accurately describe the surfaces of obstacles. Furthermore, considering the absence of precise SDF ground truth, we propose a novel weakly supervised paradigm for SDF, referred to as the Sandwich Eikonal formulation, which emphasizes applying correct and dense constraints on both sides of the surface, thereby enhancing the perceptual accuracy of the surface. Experiments suggest that our method achieves SOTA for both occupancy prediction and 3D scene reconstruction tasks on the nuScenes dataset.
- Abstract(参考訳): 視覚中心の3D環境理解は、自律運転システムにとって不可欠かつ困難である。
近年,オブジェクトフリー手法が注目されている。
このような方法は、離散的なボクセル格子のセマンティクスを予測することによって世界を理解するが、連続かつ正確な障害物面の構築には失敗する。
そこで本稿では,SurroundSDFを用いて,周辺画像からの連続知覚のための符号付き距離場(SDF)と意味場を暗黙的に予測する手法を提案する。
具体的には、クエリベースのアプローチを導入し、Eikonalの定式化に制約されたSDFを用いて障害物の表面を正確に記述する。
さらに, 正確なSDF基底の真理が欠如していることを踏まえ, サンドウィッチ・アイコンナル法(Sandwich Eikonal formulation)と呼ばれる新たなSDFの弱教師付きパラダイムを提案し, 表面の両面に正しい密度の制約を適用し, 表面の知覚精度を高める。
実験により,本手法は, nuScenesデータセット上での占有予測と3次元シーン再構成の両タスクに対してSOTAを実現することが示唆された。
関連論文リスト
- Unsupervised Occupancy Learning from Sparse Point Cloud [8.732260277121547]
Inlicit Neural Representationsは、複雑なデータモダリティをキャプチャする強力なフレームワークとして注目されている。
本稿では,ニューラルサイン付き距離関数の代わりに占有領域を推定する手法を提案する。
ベースラインに対する暗黙の形状推論を改善する能力と、合成データと実データを用いた最先端技術について強調する。
論文 参考訳(メタデータ) (2024-04-03T14:05:39Z) - OV-NeRF: Open-vocabulary Neural Radiance Fields with Vision and Language
Foundation Models for 3D Semantic Understanding [9.926326712815857]
OV-NeRFは、事前学習されたビジョンと言語基盤モデルの可能性を活用して、セマンティックフィールド学習を強化する。
提案手法は, Replica と Scannet の mIoU 測定値において, 20.31% と 18.42% の大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-02-07T08:19:57Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - Camera-based 3D Semantic Scene Completion with Sparse Guidance Network [20.876048262597255]
セマンティック・シーン・コンプリート (SSC) は, 限られた観察結果から, 3次元シーン全体における各ボクセルのセマンティック・コンプリート(セマンティック・シーン・コンプリート)を予測することを目的としている。
本稿では,SGNと呼ばれるエンドツーエンドカメラベースのSSCフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T04:17:27Z) - S4C: Self-Supervised Semantic Scene Completion with Neural Fields [54.35865716337547]
3Dセマンティックシーン理解はコンピュータビジョンにおける根本的な課題である。
SSCの現在の手法は、集約されたLiDARスキャンに基づいて、一般に3D地上真実に基づいて訓練されている。
本研究は,S4Cと呼ばれる3次元地上真理データに依存しないSSCに対して,初めての自己教師型アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-11T14:19:05Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [84.2638617094967]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳(メタデータ) (2023-09-26T08:03:10Z) - View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
本稿では,屋外ロボットのための微細な自己局在化手法を提案する。
提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。
これは、動的環境における知覚を増強する初めての疎視のみの手法である。
論文 参考訳(メタデータ) (2023-08-16T02:51:52Z) - Semantic Scene Completion with Cleaner Self [93.99441599791275]
セマンティックシーンコンプリート(SSC)は、単一のビュー深さと/またはRGB 2Dピクセルの画像を3Dボクセルに変換し、それぞれのセマンティックラベルが予測される。
SSCは、予測モデルが目に見える表面の背後にあるものを「想像する」必要があるため、よく知られた偽装問題であり、通常はTrncated Signed Distance Function (TSDF) によって表される。
我々は3Dボクセルを用いて、TSDF-CADと呼ばれる完全な可視表面を生成し、次に「クリーン」なSSCモデルを訓練する。
モデルはノイズフリーなので、期待できる。
論文 参考訳(メタデータ) (2023-03-17T13:50:18Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳(メタデータ) (2022-09-19T03:46:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。