論文の概要: $α$-SSC: Uncertainty-Aware Camera-based 3D Semantic Scene Completion
- arxiv url: http://arxiv.org/abs/2406.11021v2
- Date: Fri, 21 Jun 2024 06:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 18:47:43.660838
- Title: $α$-SSC: Uncertainty-Aware Camera-based 3D Semantic Scene Completion
- Title(参考訳): α$-SSC:不確かさを意識したカメラベースの3Dセマンティック・シーン・コンプリート
- Authors: Sanbao Su, Nuo Chen, Felix Juefei-Xu, Chen Feng, Fei Miao,
- Abstract要約: 我々は不確実性を考慮したカメラによる3Dセマンティックシーン補完法(alpha$-SSC)を提案する。
我々のアプローチは、幾何学的完備化とセマンティックセグメンテーションを強化するために、深度モデルからの不確実性伝播フレームワークを含む。
幾何レベルでは、安全クリティカルクラスの占有リコールを大幅に改善する新しいKL発散に基づくスコア関数を提案する。
- 参考スコア(独自算出の注目度): 34.744565054976285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of autonomous vehicle (AV) perception, comprehending 3D scenes is paramount for tasks such as planning and mapping. Semantic scene completion (SSC) aims to infer scene geometry and semantics from limited observations. While camera-based SSC has gained popularity due to affordability and rich visual cues, existing methods often neglect the inherent uncertainty in models. To address this, we propose an uncertainty-aware camera-based 3D semantic scene completion method ($\alpha$-SSC). Our approach includes an uncertainty propagation framework from depth models (Depth-UP) to enhance geometry completion (up to 11.58% improvement) and semantic segmentation (up to 14.61% improvement). Additionally, we propose a hierarchical conformal prediction (HCP) method to quantify SSC uncertainty, effectively addressing high-level class imbalance in SSC datasets. On the geometry level, we present a novel KL divergence-based score function that significantly improves the occupied recall of safety-critical classes (45% improvement) with minimal performance overhead (3.4% reduction). For uncertainty quantification, we demonstrate the ability to achieve smaller prediction set sizes while maintaining a defined coverage guarantee. Compared with baselines, it achieves up to 85% reduction in set sizes. Our contributions collectively signify significant advancements in SSC accuracy and robustness, marking a noteworthy step forward in autonomous perception systems.
- Abstract(参考訳): 自動運転車(AV)の認識の領域では、計画やマッピングといったタスクにおいて、3Dシーンの理解が最重要である。
セマンティックシーン補完(SSC)は、限られた観測からシーンの幾何学と意味を推測することを目的としている。
カメラベースのSSCは、手頃な価格とリッチな視覚的手がかりによって人気を得ているが、既存の手法はモデルに固有の不確実性を無視していることが多い。
そこで我々は,不確実性を考慮したカメラによる3Dセマンティックシーン補完手法(\alpha$-SSC)を提案する。
提案手法では,深度モデル(Depth-UP)からの不確実な伝播フレームワークを組み,幾何学的完備化(最大11.58%改良)と意味的セグメンテーション(最大14.61%改良)を向上する。
さらに,SSCデータセットの高レベルクラス不均衡を効果的に解消し,SSCの不確かさを定量化する階層型共形予測手法を提案する。
幾何レベルでは、安全クリティカルクラス(45%改善)の占有リコールを大幅に改善し、性能オーバーヘッドを最小化(3.4%削減)するKL発散に基づくスコア関数を提案する。
不確実性定量化のために、定義されたカバレッジ保証を維持しつつ、より小さな予測セットサイズを達成する能力を示す。
ベースラインと比較すると、セットサイズを最大85%削減できる。
我々の貢献は、SSCの精度と堅牢性において大きな進歩を示すものであり、自律認識システムにおける注目すべき一歩である。
関連論文リスト
- UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳(メタデータ) (2024-04-23T00:18:00Z) - Calib3D: Calibrating Model Preferences for Reliable 3D Scene Understanding [55.32861154245772]
Calib3Dは3Dシーン理解モデルの信頼性をベンチマークし精査する先駆的な試みである。
10種類の3Dデータセットにわたる28の最先端モデルを評価した。
本稿では,3次元モデルのキャリブレーション向上を目的とした,深度対応のスケーリング手法であるDeptSを紹介する。
論文 参考訳(メタデータ) (2024-03-25T17:59:59Z) - Progressive Feature Self-reinforcement for Weakly Supervised Semantic
Segmentation [55.69128107473125]
Weakly Supervised Semantic (WSSS) のイメージレベルラベルを用いたシングルステージアプローチを提案する。
我々は、画像内容が決定論的領域(例えば、自信ある前景と背景)と不確実領域(例えば、オブジェクト境界と誤分類されたカテゴリ)に適応的に分割して、別々の処理を行う。
そこで我々は,これらの自信のある領域と同一のクラスラベルを持つ拡張画像とのセマンティック一貫性を制約する補完的な自己強調手法を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:21:52Z) - Camera-based 3D Semantic Scene Completion with Sparse Guidance Network [20.876048262597255]
セマンティック・シーン・コンプリート (SSC) は, 限られた観察結果から, 3次元シーン全体における各ボクセルのセマンティック・コンプリート(セマンティック・シーン・コンプリート)を予測することを目的としている。
本稿では,SGNと呼ばれるエンドツーエンドカメラベースのSSCフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T04:17:27Z) - PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness [38.802781781863196]
Panoptic Scene Completion (PSC)タスクは、一般的なセマンティック・シーン・コンプリート(SSC)タスクをインスタンスレベルの情報で拡張する。
我々のPSC提案では,スパースマルチスケールコンプリートから空でないボクセルにマスクを用いたハイブリッド手法を用いている。
提案手法は,Panoptic Scene Completionと3つの大規模自律走行データセットにおける不確実性評価の両方において,すべてのベースラインを超えている。
論文 参考訳(メタデータ) (2023-12-04T18:59:59Z) - DepthSSC: Depth-Spatial Alignment and Dynamic Voxel Resolution for
Monocular 3D Semantic Scene Completion [0.4662017507844857]
DepthSSCはモノクロカメラのみをベースとしたセマンティックシーン補完手法である。
従来の手法で観察された空間的不整合や歪みの問題を緩和する。
複雑な3D構造の詳細をキャプチャーし、最先端のパフォーマンスを実現する効果を実証する。
論文 参考訳(メタデータ) (2023-11-28T01:47:51Z) - Semantic Scene Completion with Cleaner Self [93.99441599791275]
セマンティックシーンコンプリート(SSC)は、単一のビュー深さと/またはRGB 2Dピクセルの画像を3Dボクセルに変換し、それぞれのセマンティックラベルが予測される。
SSCは、予測モデルが目に見える表面の背後にあるものを「想像する」必要があるため、よく知られた偽装問題であり、通常はTrncated Signed Distance Function (TSDF) によって表される。
我々は3Dボクセルを用いて、TSDF-CADと呼ばれる完全な可視表面を生成し、次に「クリーン」なSSCモデルを訓練する。
モデルはノイズフリーなので、期待できる。
論文 参考訳(メタデータ) (2023-03-17T13:50:18Z) - USC: Uncompromising Spatial Constraints for Safety-Oriented 3D Object Detectors in Autonomous Driving [7.355977594790584]
自律運転における3次元物体検出器の安全性指向性能について考察する。
本稿では,単純だが重要な局所化要件を特徴付ける空間的制約 (USC) について述べる。
既存のモデルに対する安全性指向の微調整を可能にするために,定量的な測定値を共通損失関数に組み込む。
論文 参考訳(メタデータ) (2022-09-21T14:03:08Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳(メタデータ) (2021-07-08T15:19:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。