論文の概要: TGP: Two-modal occupancy prediction with 3D Gaussian and sparse points for 3D Environment Awareness

• arxiv url: http://arxiv.org/abs/2503.09941v1
• Date: Thu, 13 Mar 2025 01:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:42.155899
• Title: TGP: Two-modal occupancy prediction with 3D Gaussian and sparse points for 3D Environment Awareness
• Title（参考訳）: TGP:3次元ガウス点とスパース点を用いた2モード占有予測による3次元環境認識
• Authors: Mu Chen, Wenyu Chen, Mingchuan Yang, Yuan Zhang, Tao Han, Xinchi Li, Yunlong Li, Huaici Zhao,
• Abstract要約: 3Dセマンティックな占有力は、ロボット工学と自律運転環境知覚の分野において、急速に研究の焦点となっている。 既存の占有予測タスクは、voxelやポイントクラウドベースのアプローチを使用してモデル化される。 本稿では空間的位置と体積構造情報のバランスをとる3次元ガウス集合とスパース点に基づく2次元モーダル予測法を提案する。
• 参考スコア（独自算出の注目度）: 13.68631587423815
• License:
• Abstract: 3D semantic occupancy has rapidly become a research focus in the fields of robotics and autonomous driving environment perception due to its ability to provide more realistic geometric perception and its closer integration with downstream tasks. By performing occupancy prediction of the 3D space in the environment, the ability and robustness of scene understanding can be effectively improved. However, existing occupancy prediction tasks are primarily modeled using voxel or point cloud-based approaches: voxel-based network structures often suffer from the loss of spatial information due to the voxelization process, while point cloud-based methods, although better at retaining spatial location information, face limitations in representing volumetric structural details. To address this issue, we propose a dual-modal prediction method based on 3D Gaussian sets and sparse points, which balances both spatial location and volumetric structural information, achieving higher accuracy in semantic occupancy prediction. Specifically, our method adopts a Transformer-based architecture, taking 3D Gaussian sets, sparse points, and queries as inputs. Through the multi-layer structure of the Transformer, the enhanced queries and 3D Gaussian sets jointly contribute to the semantic occupancy prediction, and an adaptive fusion mechanism integrates the semantic outputs of both modalities to generate the final prediction results. Additionally, to further improve accuracy, we dynamically refine the point cloud at each layer, allowing for more precise location information during occupancy prediction. We conducted experiments on the Occ3DnuScenes dataset, and the experimental results demonstrate superior performance of the proposed method on IoU based metrics.
• Abstract（参考訳）: 3Dセマンティック・占有力は、よりリアルな幾何学的知覚と下流タスクとの密接な統合を提供する能力により、ロボット工学と自律運転環境知覚の分野において、急速に研究の焦点となっている。 環境中の3次元空間の占有予測を行うことにより、シーン理解の能力と堅牢性を効果的に向上させることができる。 しかしながら、既存の占有予測タスクは、主にボクセルまたはポイントクラウドベースのアプローチを用いてモデル化されている: ボクセルベースのネットワーク構造は、しばしば、ボクセル化プロセスによる空間情報の損失に悩まされる。 この問題に対処するために,空間的位置と体積的構造情報のバランスをとる3次元ガウス集合とスパース点に基づく2次元モーダル予測手法を提案する。 具体的には,3次元ガウス集合,スパース点,クエリを入力として,Transformerベースのアーキテクチャを採用する。 Transformerの多層構造を通じて、拡張クエリと3Dガウス集合は、セマンティック占有率予測に共同で寄与し、適応融合機構は、両方のモーダルのセマンティックアウトプットを統合して最終的な予測結果を生成する。 さらに、精度をさらに向上するため、各層における点雲を動的に洗練し、占有予測中により正確な位置情報を得られるようにする。 我々は,Occ3DnuScenesデータセットを用いて実験を行い,提案手法の有効性をIoUベースで検証した。

関連論文リスト

• EmbodiedOcc: Embodied 3D Occupancy Prediction for Vision-based Online Scene Understanding [63.99937807085461]
  3D占有予測は周囲のシーンを包括的に記述する。 既存のほとんどのメソッドは、1つか数つのビューからのオフラインの認識に焦点を当てている。 具体化された3次元占有予測タスクを定式化し,ガウスをベースとしたEmbodiedOccフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:57:09Z)
• Robust 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation [32.50849425431012]
  マルチカメラとLiDARを備えた自動運転車では、高精度で堅牢な予測のために、マルチセンサー情報を統一された3D空間に集約することが重要である。 最近の手法は主にセンサキャリブレーションに依存する2D-to-3D変換に基づいて構築され,2D画像情報を3D空間に投影する。 本研究では,空間対応を暗黙的にモデル化するために,バニラ注意に基づく校正自由空間変換を提案する。
  論文  参考訳（メタデータ） (2024-11-19T02:40:42Z)
• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• OccLoff: Learning Optimized Feature Fusion for 3D Occupancy Prediction [5.285847977231642]
  3Dセマンティック占有予測は、自動運転の安全性を確保するために不可欠である。 既存のフュージョンベースの占有法では、画像の特徴に対して2次元から3次元のビュー変換を行うのが一般的である。 OccLoffは3次元占有予測のためにFeature Fusionを最適化するフレームワークである。
  論文  参考訳（メタデータ） (2024-11-06T06:34:27Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• AdaOcc: Adaptive-Resolution Occupancy Prediction [20.0994984349065]
  AdaOccは適応分解能でマルチモーダルな予測手法である。 提案手法は,オブジェクト中心の3次元再構成と全体的占有予測を一つのフレームワークに統合する。 近距離シナリオでは、以前のベースラインを13%以上、ハウスドルフ距離を40%以上上回る。
  論文  参考訳（メタデータ） (2024-08-24T03:46:25Z)
• Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
  非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。 マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。 提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
  論文  参考訳（メタデータ） (2023-09-26T08:03:10Z)
• PointOcc: Cylindrical Tri-Perspective View for Point-based 3D Semantic Occupancy Prediction [72.75478398447396]
  本稿では,点雲を効果的かつ包括的に表現する円筒型三重対視図を提案する。 また,LiDAR点雲の距離分布を考慮し,円筒座標系における三点ビューを構築した。 プロジェクション中に構造の詳細を維持するために空間群プーリングを使用し、各TPV平面を効率的に処理するために2次元バックボーンを採用する。
  論文  参考訳（メタデータ） (2023-08-31T17:57:17Z)
• InfoFocus: 3D Object Detection for Autonomous Driving with Dynamic Information Modeling [65.47126868838836]
  動的情報モデリングを用いた新しい3次元オブジェクト検出フレームワークを提案する。 粗い予測は、ボクセルベースの領域提案ネットワークを介して第1段階で生成される。 大規模なnuScenes 3D検出ベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2020-07-16T18:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。