論文の概要: Volumetric Semantically Consistent 3D Panoptic Mapping
- arxiv url: http://arxiv.org/abs/2309.14737v3
- Date: Mon, 8 Jul 2024 08:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 03:28:33.897177
- Title: Volumetric Semantically Consistent 3D Panoptic Mapping
- Title（参考訳）: 3次元パノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノ
- Authors: Yang Miao, Iro Armeni, Marc Pollefeys, Daniel Barath,
- Abstract要約: 非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
- 参考スコア（独自算出の注目度）: 77.13446499924977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce an online 2D-to-3D semantic instance mapping algorithm aimed at generating comprehensive, accurate, and efficient semantic 3D maps suitable for autonomous agents in unstructured environments. The proposed approach is based on a Voxel-TSDF representation used in recent algorithms. It introduces novel ways of integrating semantic prediction confidence during mapping, producing semantic and instance-consistent 3D regions. Further improvements are achieved by graph optimization-based semantic labeling and instance refinement. The proposed method achieves accuracy superior to the state of the art on public large-scale datasets, improving on a number of widely used metrics. We also highlight a downfall in the evaluation of recent studies: using the ground truth trajectory as input instead of a SLAM-estimated one substantially affects the accuracy, creating a large gap between the reported results and the actual performance on real-world data.
- Abstract（参考訳）: 非構造環境における自律型エージェントに適した包括的かつ正確で効率的な3Dマップを生成することを目的としたオンライン2D-to-3Dセマンティック・インスタンスマッピングアルゴリズムを提案する。
提案手法は,最近のアルゴリズムで用いられているVoxel-TSDF表現に基づいている。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
さらなる改善は、グラフ最適化に基づくセマンティックラベリングとインスタンスのリファインメントによって達成される。
提案手法は,大規模データセットにおける最先端の精度よりも高い精度を達成し,多くの広く使用されている指標を改善した。
SLAM推定データの代わりに基底真理軌道を入力として使用すると精度が著しく低下し,実世界のデータにおける結果と実際のパフォーマンスの間に大きなギャップが生じる。
関連論文リスト
- MVGaussian: High-Fidelity text-to-3D Content Generation with Multi-View Guidance and Surface Densification [13.872254142378772]
本稿では,テキスト・ツー・3Dコンテンツ生成のための統合フレームワークを提案する。
提案手法は3次元モデルの構造を反復的に形成するために多視点誘導を利用する。
また,表面近傍にガウスを配向させる新しい密度化アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-09-10T16:16:34Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。
SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。
また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳（メタデータ） (2023-12-19T03:39:56Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳（メタデータ） (2023-09-09T16:21:56Z) - Convolutional Bayesian Kernel Inference for 3D Semantic Mapping [1.7615233156139762]
本稿では,ベイズ的推論を明示的に行うことを学ぶ畳み込みベイズ的カーネル推論層を紹介する。
We learn semantic-geometric probability distributions for LiDAR sensor information and incorporated semantic predictions into a global map。
我々は、KITTIデータセット上での最先端セマンティックマッピングアルゴリズムに対するネットワークの評価を行い、同等のセマンティックラベル推論結果によるレイテンシの向上を実証した。
論文 参考訳（メタデータ） (2022-09-21T21:15:12Z) - 3D-PL: Domain Adaptive Depth Estimation with 3D-aware Pseudo-Labeling [37.315964084413174]
我々は,実際のデータから信頼された疑似基底真理を生成して,直接の監視を行うドメイン適応フレームワークを開発する。
具体的には,(1)画像が同一内容の異なるスタイルのときの深度予測の一貫性を計測し,(2)3次元空間における深度値の完備化を学習するポイントクラウドコンプリートネットワークを介して,擬似ラベルを認識させることにより,擬似ラベルの2つのメカニズムを提案する。
論文 参考訳（メタデータ） (2022-09-19T17:54:17Z) - From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction [80.67873933010783]
我々は,MDPが現在,3Dアプリケーションにおける予測の有用性を評価するのに有効な指標に頼っていることを論じる。
これにより、2Dベースの距離を最適化するのではなく、シーンの3D構造を正確に認識し、推定に向けて改善する新しい手法の設計と開発が制限される。
本稿では,MDP手法の3次元幾何評価に適した指標セットと,提案手法に不可欠な室内ベンチマークRIO-D3Dを提案する。
論文 参考訳（メタデータ） (2022-03-15T17:50:54Z) - Dynamic Semantic Occupancy Mapping using 3D Scene Flow and Closed-Form
Bayesian Inference [3.0389083199673337]
深層学習を用いた最新技術セマンティックセマンティックセグメンテーションと3次元フロー推定を利用して,マップ推論の計測を行う。
連続的な(すなわち任意の解像度でクエリできる)ベイズモデルを開発し、フローでシーンを伝播し、静的なモデルよりも優れた性能で3次元意味的占有マップを推論する。
論文 参考訳（メタデータ） (2021-08-06T15:51:40Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳（メタデータ） (2020-10-26T15:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。