論文の概要: SliceOcc: Indoor 3D Semantic Occupancy Prediction with Vertical Slice Representation

• arxiv url: http://arxiv.org/abs/2501.16684v1
• Date: Tue, 28 Jan 2025 03:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:32.436276
• Title: SliceOcc: Indoor 3D Semantic Occupancy Prediction with Vertical Slice Representation
• Title（参考訳）: SliceOcc:垂直スライス表現を用いた室内3次元セマンティック動作予測
• Authors: Jianing Li, Ming Lu, Hao Wang, Chenyang Gu, Wenzhao Zheng, Li Du, Shanghang Zhang,
• Abstract要約: 室内3Dセマンティック占有予測に適したRGBカメラベースモデルであるSliceOccを提案する。 EmbodiedScanデータセットの実験結果は、SliceOccが81の屋内カテゴリで15.45%のmIoUを達成したことを示している。
• 参考スコア（独自算出の注目度）: 50.420711084672966
• License:
• Abstract: 3D semantic occupancy prediction is a crucial task in visual perception, as it requires the simultaneous comprehension of both scene geometry and semantics. It plays a crucial role in understanding 3D scenes and has great potential for various applications, such as robotic vision perception and autonomous driving. Many existing works utilize planar-based representations such as Bird's Eye View (BEV) and Tri-Perspective View (TPV). These representations aim to simplify the complexity of 3D scenes while preserving essential object information, thereby facilitating efficient scene representation. However, in dense indoor environments with prevalent occlusions, directly applying these planar-based methods often leads to difficulties in capturing global semantic occupancy, ultimately degrading model performance. In this paper, we present a new vertical slice representation that divides the scene along the vertical axis and projects spatial point features onto the nearest pair of parallel planes. To utilize these slice features, we propose SliceOcc, an RGB camera-based model specifically tailored for indoor 3D semantic occupancy prediction. SliceOcc utilizes pairs of slice queries and cross-attention mechanisms to extract planar features from input images. These local planar features are then fused to form a global scene representation, which is employed for indoor occupancy prediction. Experimental results on the EmbodiedScan dataset demonstrate that SliceOcc achieves a mIoU of 15.45% across 81 indoor categories, setting a new state-of-the-art performance among RGB camera-based models for indoor 3D semantic occupancy prediction. Code is available at https://github.com/NorthSummer/SliceOcc.
• Abstract（参考訳）: 3次元セマンティック占有予測は、シーン幾何学とセマンティックスの両方を同時に理解する必要があるため、視覚知覚において重要な課題である。 3Dシーンの理解において重要な役割を担い、ロボットビジョンの認識や自律運転など、様々な応用に大きな可能性を秘めている。 多くの既存の作品は、Bird's Eye View (BEV) や Tri-Perspective View (TPV) のような平面ベースの表現を利用している。 これらの表現は、重要なオブジェクト情報を保持しながら、3Dシーンの複雑さを単純化し、効率的なシーン表現を容易にすることを目的としている。 しかし、密集した屋内環境では、これらの平面的手法を直接適用することは、大域的な意味的占有を捉えることの難しさを招き、最終的にはモデル性能を低下させる。 本稿では,垂直軸に沿ってシーンを分割し,最も近い平行面上に空間的特徴を投影する垂直スライス表現を提案する。 これらのスライス機能を利用するために,室内3次元セマンティック占有予測に適したRGBカメラベースモデルであるSliceOccを提案する。 SliceOccはスライスクエリとクロスアテンションメカニズムを使って入力画像から平面特徴を抽出する。 これらの局所的な平面的特徴を融合してグローバルなシーン表現を形成し、室内の占有率予測に使用される。 EmbodiedScanデータセットの実験結果によると、SliceOccは81の屋内カテゴリで15.45%のmIoUを達成した。 コードはhttps://github.com/NorthSummer/SliceOcc.comで入手できる。

関連論文リスト

• 3D Feature Distillation with Object-Centric Priors [9.626027459292926]
  CLIPのような2Dビジョン言語モデルは、2Dイメージのオープン語彙グラウンドディングに優れた機能を備えているため、広く普及している。 最近の研究は、特徴蒸留によって2D CLIP機能を3Dに高めることを目的としているが、シーン固有のニューラルネットワークを学ぶか、室内のスキャンデータにフォーカスする。 提案手法は, 3次元CLIPの特徴を再構築し, 接地能力と空間的整合性を改善した。
  論文  参考訳（メタデータ） (2024-06-26T20:16:49Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• Scene as Occupancy [66.43673774733307]
  OccNetは、カスケードと時間ボクセルデコーダを備えたビジョン中心のパイプラインで、3D占有を再構築する。 nuScenes上に構築された最初の高密度3D占有率ベンチマークであるOpenOccを提案する。
  論文  参考訳（メタデータ） (2023-06-05T13:01:38Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
  3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。 マルチカメラ画像を用いたSurroundOcc法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:59:08Z)
• Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
  我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。 提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-11-21T11:13:08Z)
• Occupancy Planes for Single-view RGB-D Human Reconstruction [120.5818162569105]
  暗黙的な機能を持つシングルビューRGB-Dヒト再構成は、しばしばポイント単位の分類として定式化される。 本稿では,カメラの視野フラストラムをスライスする平面上での占有率予測として,一視点のRGB-D人間の再構成を定式化できる占有面(OPlanes)表現を提案する。
  論文  参考訳（メタデータ） (2022-08-04T17:59:56Z)
• CoCoNets: Continuous Contrastive 3D Scene Representations [21.906643302668716]
  本稿では,RGBとRGB-Dの画像とビデオから非モーダルな3D特徴表現を自己監督的に学習する。 得られた3次元視覚特徴表現は,オブジェクトやシーンにまたがって効果的にスケールし,入力視点から逸脱した情報を想像し,時間とともにオブジェクトを追跡し,意味的に関連したオブジェクトを3dで調整し,3dオブジェクト検出を改善する。
  論文  参考訳（メタデータ） (2021-04-08T15:50:47Z)
• OccuSeg: Occupancy-aware 3D Instance Segmentation [39.71517989569514]
  3D占有サイズ」とは、各インスタンスが占有するボクセルの数である。 OccuSegは、3Dインスタンスのセグメンテーションスキームである。 3つの実世界のデータセット上での“最先端のパフォーマンス”。
  論文  参考訳（メタデータ） (2020-03-14T02:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。