論文の概要: seg_3D_by_PC2D: Multi-View Projection for Domain Generalization and Adaptation in 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2505.15545v1
• Date: Wed, 21 May 2025 14:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.680356
• Title: seg_3D_by_PC2D: Multi-View Projection for Domain Generalization and Adaptation in 3D Semantic Segmentation
• Title（参考訳）: seg_3D_by_PC2D:3次元セマンティックセグメンテーションにおける領域一般化と適応のための多視点投影
• Authors: Andrew Caunes, Thierry Chateau, Vincent Fremont,
• Abstract要約: 3Dセマンティックセグメンテーションは、自動運転と道路インフラ分析において重要な役割を果たす。 ドメイン一般化(DG)と教師なしドメイン適応(UDA)を両立させる新しい多視点プロジェクションフレームワークを提案する。 UDAでは最先端の成果が得られ、DGでは最先端の成果に近づき、特に大規模で静的なクラスでは大きな利益が得られます。
• 参考スコア（独自算出の注目度）: 2.4549463031236396
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D semantic segmentation plays a pivotal role in autonomous driving and road infrastructure analysis, yet state-of-the-art 3D models are prone to severe domain shift when deployed across different datasets. We propose a novel multi-view projection framework that excels in both domain generalization (DG) and unsupervised domain adaptation (UDA). Our approach first aligns Lidar scans into coherent 3D scenes and renders them from multiple virtual camera poses to create a large-scale synthetic 2D dataset (PC2D). We then use it to train a 2D segmentation model in-domain. During inference, the model processes hundreds of views per scene; the resulting logits are back-projected to 3D with an occlusion-aware voting scheme to generate final point-wise labels. Our framework is modular and enables extensive exploration of key design parameters, such as view generation optimization (VGO), visualization modality optimization (MODO), and 2D model choice. We evaluate on the nuScenes and SemanticKITTI datasets under both the DG and UDA settings. We achieve state-of-the-art results in UDA and close to state-of-the-art in DG, with particularly large gains on large, static classes. Our code and dataset generation tools will be publicly available at https://github.com/andrewcaunes/ia4markings
• Abstract（参考訳）: 3Dセマンティックセグメンテーションは、自律走行と道路インフラ分析において重要な役割を果たすが、最先端の3Dモデルは、異なるデータセットにまたがるデプロイ時に深刻なドメインシフトを引き起こす。 本稿では,ドメイン一般化(DG)と教師なしドメイン適応(UDA)を両立させる新しい多視点プロジェクションフレームワークを提案する。 われわれのアプローチはまず、Lidarスキャンをコヒーレントな3Dシーンに整列させ、複数の仮想カメラのポーズからレンダリングして、大規模な合成2Dデータセット(PC2D)を作成する。 次に、ドメイン内の2Dセグメンテーションモデルをトレーニングするためにそれを使用します。 推論の間、モデルはシーンごとに数百のビューを処理し、結果のロジットはオクルージョン対応の投票方式で3Dにバックプロジェクションされ、最終的なポイントワイズラベルを生成する。 我々のフレームワークはモジュール化されており、ビュージェネレーション最適化(VGO)、可視化モダリティ最適化(MODO)、および2次元モデル選択などの重要な設計パラメータを広範囲に探索することができる。 DGとUDA設定の両方でnuScenesとSemanticKITTIデータセットを評価する。 UDAでは最先端の成果が得られ、DGでは最先端の成果に近づき、特に大規模で静的なクラスでは大きな利益が得られます。 私たちのコードとデータセット生成ツールはhttps://github.com/andrewcaunes/ia4markingsで公開されます。

関連論文リスト

• DINO in the Room: Leveraging 2D Foundation Models for 3D Segmentation [51.43837087865105]
  大規模な画像データセットに基づいてトレーニングされた視覚基礎モデル(VFM)は、非常に高度な2D視覚認識を備えた高品質な機能を提供する。 3D画像と3Dポイントクラウドデータセットの共通利用にもかかわらず、彼らの3Dビジョンのポテンシャルは依然としてほとんど未解決のままである。 2Dファンデーションモデルの特徴を抽出し,それを3Dに投影し,最終的に3Dポイントクラウドセグメンテーションモデルに注入する,シンプルで効果的なアプローチであるDITRを導入する。
  論文  参考訳（メタデータ） (2025-03-24T17:59:11Z)
• xMOD: Cross-Modal Distillation for 2D/3D Multi-Object Discovery from 2D motion [4.878192303432336]
  DIOD-3Dは2Dモーションを用いた3Dデータにおけるマルチオブジェクト発見のための最初のベースラインである。 xMODは、常に2Dモーションキューを使用しながら、2Dと3Dデータを統合したクロスプラットフォームのトレーニングフレームワークである。 提案手法は,全データセットの2次元オブジェクト発見状態と比較すると,大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2025-03-19T09:20:35Z)
• Unifying 2D and 3D Vision-Language Understanding [85.84054120018625]
  2次元および3次元視覚言語学習のための統一アーキテクチャUniVLGを紹介する。 UniVLGは、既存の2D中心モデルと、エンボディシステムで利用可能なリッチな3Dセンサーデータのギャップを埋める。
  論文  参考訳（メタデータ） (2025-03-13T17:56:22Z)
• DCSEG: Decoupled 3D Open-Set Segmentation using Gaussian Splatting [0.0]
  本稿では,新しい3次元表現へのモジュラリティと適応性を確保するために,分離した3次元分割パイプラインを提案する。 我々は、合成および実世界の屋内データセットを評価し、同等のNeRFパイプラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-14T21:26:44Z)
• Zero-Shot Dual-Path Integration Framework for Open-Vocabulary 3D Instance Segmentation [19.2297264550686]
  Open-vocabulary 3Dのインスタンスセグメンテーションは、従来のクローズドボキャブラリーメソッドを超越する。 我々は、Zero-Shot Dual-Path Integration Frameworkを導入し、3Dと2Dの両方のモダリティの貢献を等しく評価する。 筆者らのフレームワークは,ゼロショット方式で事前学習したモデルを利用しており,モデル非依存であり,目に見えるデータと目に見えないデータの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-16T07:52:00Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation [46.110739803985076]
  ドメイン適応のための多モード情報相互作用の十分性を高めるために,動的スパース・ツー・ディエンス・クロスモーダル学習(DsCML)を提案する。 ドメイン間クロスモーダル学習では,2次元および3次元データ上でのクロスモーダル適応学習(CMAL)をさらに進める。 本研究では,日中・日中・日中・日中・データセットなど,多目的領域適応設定によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-07-30T15:55:55Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。