論文の概要: PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness
- arxiv url: http://arxiv.org/abs/2312.02158v1
- Date: Mon, 4 Dec 2023 18:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 13:58:00.194670
- Title: PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness
- Title(参考訳): PaSCo:不確かさを意識した3Dパノラマシーン
- Authors: Anh-Quan Cao and Angela Dai and Raoul de Charette
- Abstract要約: Panoptic Scene Completion (PSC)タスクは、一般的なセマンティック・シーン・コンプリート(SSC)タスクをインスタンスレベルの情報で拡張する。
我々のPSC提案では,スパースマルチスケールコンプリートから空でないボクセルにマスクを用いたハイブリッド手法を用いている。
提案手法は,Panoptic Scene Completionと3つの大規模自律走行データセットにおける不確実性評価の両方において,すべてのベースラインを超えている。
- 参考スコア(独自算出の注目度): 43.610438107066635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the task of Panoptic Scene Completion (PSC) which extends the
recently popular Semantic Scene Completion (SSC) task with instance-level
information to produce a richer understanding of the 3D scene. Our PSC proposal
utilizes a hybrid mask-based technique on the non-empty voxels from sparse
multi-scale completions. Whereas the SSC literature overlooks uncertainty which
is critical for robotics applications, we instead propose an efficient
ensembling to estimate both voxel-wise and instance-wise uncertainties along
PSC. This is achieved by building on a multi-input multi-output (MIMO)
strategy, while improving performance and yielding better uncertainty for
little additional compute. Additionally, we introduce a technique to aggregate
permutation-invariant mask predictions. Our experiments demonstrate that our
method surpasses all baselines in both Panoptic Scene Completion and
uncertainty estimation on three large-scale autonomous driving datasets. Our
code and data are available at https://astra-vision.github.io/PaSCo .
- Abstract(参考訳): 本稿では,最近普及したssc(semantic scene completion)タスクをインスタンスレベルの情報で拡張し,より詳細な3dシーン理解を実現するpanoptic scene completion(psc)タスクを提案する。
我々のPSC提案では,スパースマルチスケールコンプリートから空でないボクセルにマスクを用いたハイブリッド手法を用いる。
sscの文献では,ロボット応用に不可欠な不確実性を見落としているのに対して,psc に沿ってvoxel-wise と instance-wise の両方の不確かさを推定する効率的なセンシングを提案する。
これは、MIMO(multi-input multi-output)戦略に基づいて構築され、性能を改善し、少ない計算量に対してより良い不確実性をもたらす。
さらに,置換不変マスク予測を集約する手法を提案する。
実験により,Panoptic Scene Completionと3つの大規模自律走行データセットにおける不確実性評価の両方において,本手法が全ベースラインを超えることを示した。
コードとデータはhttps://astra-vision.github.io/pascoで入手できます。
関連論文リスト
- OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy
Prediction [5.069242662340813]
マルチセンサフュージョンに基づく3次元占有予測は、信頼性の高い自律運転システムに不可欠である。
従来の核融合による3次元占有予測は2次元画像特徴の深度推定に頼っていた。
我々は,奥行き推定が不要なマルチモーダル融合法であるOccFusionと,画像特徴の密接な統合のための対応する点クラウドサンプリングアルゴリズムを紹介する。
論文 参考訳(メタデータ) (2024-03-08T14:07:37Z) - One at a Time: Progressive Multi-step Volumetric Probability Learning
for Reliable 3D Scene Perception [59.37727312705997]
本稿では,複雑な3次元ボリューム表現学習を生成段階の列に分解することを提案する。
強力な生成拡散モデルにより達成された最近の進歩を考えると、我々はVPDと呼ばれる多段階学習フレームワークを導入する。
SSCタスクでは、Semantic KITTIデータセット上でLiDARベースのメソッドを初めて越える作業として際立っている。
論文 参考訳(メタデータ) (2023-06-22T05:55:53Z) - Semantic Scene Completion with Cleaner Self [93.99441599791275]
セマンティックシーンコンプリート(SSC)は、単一のビュー深さと/またはRGB 2Dピクセルの画像を3Dボクセルに変換し、それぞれのセマンティックラベルが予測される。
SSCは、予測モデルが目に見える表面の背後にあるものを「想像する」必要があるため、よく知られた偽装問題であり、通常はTrncated Signed Distance Function (TSDF) によって表される。
我々は3Dボクセルを用いて、TSDF-CADと呼ばれる完全な可視表面を生成し、次に「クリーン」なSSCモデルを訓練する。
モデルはノイズフリーなので、期待できる。
論文 参考訳(メタデータ) (2023-03-17T13:50:18Z) - Panoptic Lifting for 3D Scene Understanding with Neural Fields [32.59498558663363]
そこで本研究では,撮影シーンの画像からパノプティカル3D表現を学習するための新しい手法を提案する。
本手法では,事前学習ネットワークから推定される2次元空間分割マスクのみを必要とする。
実験結果は、Hypersim、Replica、ScanNetデータセットに挑戦するアプローチを検証する。
論文 参考訳(メタデータ) (2022-12-19T19:15:36Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳(メタデータ) (2022-12-06T14:32:55Z) - Incremental 3D Scene Completion for Safe and Efficient Exploration
Mapping and Planning [60.599223456298915]
本研究では,情報,安全,解釈可能な地図作成と計画に3次元シーン補完を活用することによって,深層学習を探索に統合する新しい手法を提案する。
本手法は,地図の精度を最小限に抑えることで,ベースラインに比べて環境のカバレッジを73%高速化できることを示す。
最終地図にシーン完了が含まれていなくても、ロボットがより情報的な経路を選択するように誘導し、ロボットのセンサーでシーンの測定を35%高速化できることが示される。
論文 参考訳(メタデータ) (2022-08-17T14:19:33Z) - S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point
Clouds [0.16799377888527683]
S3CNetはスパース畳み込みに基づくニューラルネットワークで、単一で統一されたLiDARポイントクラウドからセマンティックに完了したシーンを予測する。
提案手法は,Semantic KITTI ベンチマークを用いて,3次元課題における全ての課題に対して優れることを示す。
論文 参考訳(メタデータ) (2020-12-16T20:14:41Z) - 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure
Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。
低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。
提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文 参考訳(メタデータ) (2020-03-31T09:33:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。