論文の概要: Semantic Scene Completion using Local Deep Implicit Functions on LiDAR
Data
- arxiv url: http://arxiv.org/abs/2011.09141v3
- Date: Mon, 12 Apr 2021 20:40:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 03:37:02.341563
- Title: Semantic Scene Completion using Local Deep Implicit Functions on LiDAR
Data
- Title(参考訳): LiDARデータを用いた局所的深部入射関数を用いた意味的シーン補完
- Authors: Christoph B. Rist, David Emmerichs, Markus Enzweiler and Dariu M.
Gavrila
- Abstract要約: 本稿では,シーン補完のための新しい学習手法として,局所的な深層インプリシット関数に基づくシーン分割ネットワークを提案する。
この連続表現は、空間的離散化を必要とせず、広い屋外シーンの幾何学的・意味的な特性を符号化するのに適していることを示す。
実験により,本手法が与えられたシーンの高密度な3次元記述にデコード可能な強力な表現を生成することを確認した。
- 参考スコア(独自算出の注目度): 4.355440821669468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic scene completion is the task of jointly estimating 3D geometry and
semantics of objects and surfaces within a given extent. This is a particularly
challenging task on real-world data that is sparse and occluded. We propose a
scene segmentation network based on local Deep Implicit Functions as a novel
learning-based method for scene completion. Unlike previous work on scene
completion, our method produces a continuous scene representation that is not
based on voxelization. We encode raw point clouds into a latent space locally
and at multiple spatial resolutions. A global scene completion function is
subsequently assembled from the localized function patches. We show that this
continuous representation is suitable to encode geometric and semantic
properties of extensive outdoor scenes without the need for spatial
discretization (thus avoiding the trade-off between level of scene detail and
the scene extent that can be covered).
We train and evaluate our method on semantically annotated LiDAR scans from
the Semantic KITTI dataset. Our experiments verify that our method generates a
powerful representation that can be decoded into a dense 3D description of a
given scene. The performance of our method surpasses the state of the art on
the Semantic KITTI Scene Completion Benchmark in terms of geometric completion
intersection-over-union (IoU).
- Abstract(参考訳): セマンティック・シーン・コンプリート(Semantic scene completion)は、オブジェクトと表面の3次元幾何と意味を所定の範囲で共同で推定するタスクである。
これは、スパースで難解な実世界のデータでは特に難しいタスクです。
本稿では,シーン補完のための新しい学習手法として,局所的な深層インプリシット関数に基づくシーン分割ネットワークを提案する。
シーン補完に関するこれまでの作業とは異なり,voxelizationに基づくものではない連続的なシーン表現を生成する。
原点雲を局所的かつ複数の空間分解能で潜在空間に符号化する。
その後、ローカライズされた機能パッチからグローバルシーン補完関数を組み立てる。
この連続表現は,空間的離散化を必要とせず,広範囲の屋外シーンの幾何学的・意味的特性をエンコードするのに適している(シーンの細部とカバーできるシーンの範囲とのトレードオフを回避できる)。
セマンティックKITTIデータセットから意味的注釈付きLiDARスキャンの学習と評価を行う。
実験により,提案手法が,与えられたシーンの高密度な3次元記述にデコードできる強力な表現を生成することを検証した。
提案手法の性能は,IoU(Imantic KITTI Scene Completion Benchmark)において,幾何的完備化の交叉点(IoU)の点において,技術状況を上回る。
関連論文リスト
- Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳(メタデータ) (2024-11-25T10:14:10Z) - Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement [32.335953514942474]
本稿では,3次元の高密度特徴場と2次元の特徴抽出器を併用してシーン表現を共同学習することを提案する。
暗黙の場に符号化された中間的幾何情報を活用するために、ボリュームレンダリングを通してシーンの基盤となる幾何学を学習し、特徴体を設計する。
次に、画像ベースの機能とレンダリングされたボリューム機能を調整することで、視覚的なローカライゼーションを実現する。
論文 参考訳(メタデータ) (2024-06-12T17:51:53Z) - S4C: Self-Supervised Semantic Scene Completion with Neural Fields [54.35865716337547]
3Dセマンティックシーン理解はコンピュータビジョンにおける根本的な課題である。
SSCの現在の手法は、集約されたLiDARスキャンに基づいて、一般に3D地上真実に基づいて訓練されている。
本研究は,S4Cと呼ばれる3次元地上真理データに依存しないSSCに対して,初めての自己教師型アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-11T14:19:05Z) - Semantic Scene Completion via Integrating Instances and Scene
in-the-Loop [73.11401855935726]
Semantic Scene Completionは、単一の視野深度またはRGBD画像から正確なボキセルワイズセマンティクスで完全な3Dシーンを再構築することを目指しています。
本稿では、シーンレベルのセマンティクス情報とインスタンスレベルのセマンティクス情報の両方を利用するScene-Instance-Scene Network(textitSISNet)を提案する。
本手法は, セマンティックなカテゴリが容易に混在している近傍のオブジェクトと同様に, きめ細かい形状の細部を推定できる。
論文 参考訳(メタデータ) (2021-04-08T09:50:30Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z) - 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure
Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。
低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。
提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文 参考訳(メタデータ) (2020-03-31T09:33:46Z) - Depth Based Semantic Scene Completion with Position Importance Aware
Loss [52.06051681324545]
PALNetはセマンティックシーン補完のための新しいハイブリッドネットワークである。
詳細な深度情報を用いて,多段階から2次元特徴と3次元特徴の両方を抽出する。
オブジェクトのバウンダリやシーンの隅といった重要な詳細を復元することは有益である。
論文 参考訳(メタデータ) (2020-01-29T07:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。