論文の概要: PanoSSC: Exploring Monocular Panoptic 3D Scene Reconstruction for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2406.07037v1
• Date: Tue, 11 Jun 2024 07:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:54:22.941332
• Title: PanoSSC: Exploring Monocular Panoptic 3D Scene Reconstruction for Autonomous Driving
• Title（参考訳）: PanoSSC: 自律走行のための単眼パノプティカル3Dシーンの再構築
• Authors: Yining Shi, Jiusi Li, Kun Jiang, Ke Wang, Yunlong Wang, Mengmeng Yang, Diange Yang,
• Abstract要約: 視覚中心の占有ネットワークは、セマンティクスを持った均一なボクセルで周囲の環境を表現する。 現代の占有ネットワークは主に、ボクセルのセマンティックな予測によって、物体表面から見えるボクセルを再構築することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 15.441175735210791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-centric occupancy networks, which represent the surrounding environment with uniform voxels with semantics, have become a new trend for safe driving of camera-only autonomous driving perception systems, as they are able to detect obstacles regardless of their shape and occlusion. Modern occupancy networks mainly focus on reconstructing visible voxels from object surfaces with voxel-wise semantic prediction. Usually, they suffer from inconsistent predictions of one object and mixed predictions for adjacent objects. These confusions may harm the safety of downstream planning modules. To this end, we investigate panoptic segmentation on 3D voxel scenarios and propose an instance-aware occupancy network, PanoSSC. We predict foreground objects and backgrounds separately and merge both in post-processing. For foreground instance grouping, we propose a novel 3D instance mask decoder that can efficiently extract individual objects. we unify geometric reconstruction, 3D semantic segmentation, and 3D instance segmentation into PanoSSC framework and propose new metrics for evaluating panoptic voxels. Extensive experiments show that our method achieves competitive results on SemanticKITTI semantic scene completion benchmark.
• Abstract（参考訳）: 視覚中心の占有ネットワークは、周囲の環境を均一なボクセルとセマンティクスで表現しており、カメラのみの自律運転認識システムの安全運転の新たなトレンドとなっている。 現代の占有ネットワークは主に、ボクセルのセマンティックな予測によって、物体表面から見えるボクセルを再構築することに焦点を当てている。 通常、1つの物体の矛盾した予測と、隣接する物体の混合予測に悩まされる。 これらの混乱は下流計画モジュールの安全性を損なう可能性がある。 そこで本研究では,3次元ボクセルシナリオにおけるパノプティクスのセグメンテーションについて検討し,PanoSSCというインスタンス対応の占有ネットワークを提案する。 我々は、フォアグラウンドオブジェクトとバックグラウンドを別々に予測し、後処理で両方をマージする。 前景のインスタンスグループ化のために,個々のオブジェクトを効率的に抽出できる新しい3Dインスタンスマスクデコーダを提案する。 幾何学的再構成,3次元セマンティックセグメンテーション,および3次元インスタンスセグメンテーションをPanoSSCフレームワークに統合し,汎視的ボクセルの評価のための新しい指標を提案する。 大規模な実験により,セマンティックKITTIセマンティックシーン補完ベンチマークの競合結果が得られた。

関連論文リスト

• WildOcc: A Benchmark for Off-Road 3D Semantic Occupancy Prediction [9.639795825672023]
  オフロード環境は幾何学的情報に富んでいるため、3Dセマンティック占有予測タスクに適している。 オフロード3Dセマンティック占有予測タスクに密接な占有アノテーションを提供する最初のベンチマークであるWildOccを紹介する。 本稿では, より現実的な結果を得るために, 粗大な再構成を用いた基礎的真理生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-21T09:02:40Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation [45.39981876226129]
  本研究では、カメラのみの3Dシーン理解のための統一的な占有表現の実現を目的とした、カメラベースの3Dパノプティクスセグメンテーションについて研究する。 マルチフレーム画像とマルチビュー画像からのセマンティック情報を集約するために,voxelクエリを利用するPanoOccという新しい手法を提案する。 提案手法は,nuScenesデータセット上でのカメラベースセグメンテーションとパノプティクスセグメンテーションのための最新の結果を実現する。
  論文  参考訳（メタデータ） (2023-06-16T17:59:33Z)
• Scene as Occupancy [66.43673774733307]
  OccNetは、カスケードと時間ボクセルデコーダを備えたビジョン中心のパイプラインで、3D占有を再構築する。 nuScenes上に構築された最初の高密度3D占有率ベンチマークであるOpenOccを提案する。
  論文  参考訳（メタデータ） (2023-06-05T13:01:38Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• Towards Panoptic 3D Parsing for Single Image in the Wild [35.98539308998578]
  本稿では,1枚のRGB画像から,総合的な画像分割,オブジェクト検出,インスタンス分割,深度推定,オブジェクトインスタンスの3次元再構成を行う統合システムを提案する。 提案するパン光学3D解析フレームワークは,コンピュータビジョンにおいて有望な方向性を示す。 自律運転、マッピング、ロボット工学、デザイン、コンピュータグラフィックス、ロボット工学、人間とコンピュータの相互作用、拡張現実など、様々な応用に適用することができる。
  論文  参考訳（メタデータ） (2021-11-04T17:45:04Z)
• Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model Alignments [81.38641691636847]
  エンボディエージェントの観点から,シーン再構築の問題を再考する。 rgb-dデータストリームを用いてインタラクティブシーンを再構築する。 この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
  論文  参考訳（メタデータ） (2021-03-30T05:56:58Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)
• Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
  3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。 以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。 本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T11:19:24Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。