論文の概要: Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation

• arxiv url: http://arxiv.org/abs/2203.15224v1
• Date: Tue, 29 Mar 2022 04:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 14:27:00.322694
• Title: Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation
• Title（参考訳）: Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation
• Authors: Xiao Fu, Shangzhan Zhang, Tianrun Chen, Yichong Lu, Lanyun Zhu, Xiaowei Zhou, Andreas Geiger, Yiyi Liao
• Abstract要約: そこで本研究では,画素ごとの2Dセマンティックスとインスタンスラベルの取得を目的とした,新しい3D-to-2Dラベル転送手法であるPanoptic NeRFを提案する。 3D空間内での推論と2Dラベルへのレンダリングにより、我々の2Dセマンティクスとインスタンスラベルは、設計によって複数ビューに一貫性がある。
• 参考スコア（独自算出の注目度）: 48.677336052620895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale training data with high-quality annotations is critical for training semantic and instance segmentation models. Unfortunately, pixel-wise annotation is labor-intensive and costly, raising the demand for more efficient labeling strategies. In this work, we present a novel 3D-to-2D label transfer method, Panoptic NeRF, which aims for obtaining per-pixel 2D semantic and instance labels from easy-to-obtain coarse 3D bounding primitives. Our method utilizes NeRF as a differentiable tool to unify coarse 3D annotations and 2D semantic cues transferred from existing datasets. We demonstrate that this combination allows for improved geometry guided by semantic information, enabling rendering of accurate semantic maps across multiple views. Furthermore, this fusion process resolves label ambiguity of the coarse 3D annotations and filters noise in the 2D predictions. By inferring in 3D space and rendering to 2D labels, our 2D semantic and instance labels are multi-view consistent by design. Experimental results show that Panoptic NeRF outperforms existing semantic and instance label transfer methods in terms of accuracy and multi-view consistency on challenging urban scenes of the KITTI-360 dataset.
• Abstract（参考訳）: 高品質なアノテーションを備えた大規模トレーニングデータは、セマンティクスとインスタンスセグメンテーションモデルのトレーニングに不可欠である。 残念ながら、ピクセル単位のアノテーションは労働集約的でコストがかかり、より効率的なラベリング戦略への需要が高まる。 そこで本研究では,画素ごとの2Dセマンティックスとインスタンスラベルの取得を目的とした3Dから2Dへのラベル転送手法であるPanoptic NeRFを提案する。 提案手法は,既存のデータセットから転送される粗い3Dアノテーションと2Dセマンティックキューを統一するために,NeRFを識別可能なツールとして利用する。 この組み合わせにより,意味情報に導かれる幾何学が改善され,複数のビューにまたがる正確な意味地図のレンダリングが可能になることを実証した。 さらに, この融合により, 2次元予測における粗い3次元アノテーションとフィルタノイズのラベルあいまいさが解消される。 3D空間を推論し、2Dラベルにレンダリングすることで、我々の2Dセマンティクスとインスタンスラベルは、設計によって複数ビューに一貫性がある。 実験の結果,Panoptic NeRFは,KITTI-360データセットの挑戦的な都市シーンにおいて,精度と複数ビューの整合性の観点から,既存のセマンティックおよびインスタンスラベル転送手法よりも優れていた。

関連論文リスト

• Weakly Supervised 3D Object Detection via Multi-Level Visual Guidance [72.6809373191638]
  本稿では,3次元ラベルを必要とせずに2次元ドメインと3次元ドメイン間の制約を活用できるフレームワークを提案する。 具体的には、LiDARと画像特徴をオブジェクト認識領域に基づいて整列する特徴レベルの制約を設計する。 第二に、出力レベルの制約は、2Dと投影された3Dボックスの推定の重なりを強制するために開発される。 第3に、トレーニングレベルの制約は、視覚データと整合した正確で一貫した3D擬似ラベルを生成することによって利用される。
  論文  参考訳（メタデータ） (2023-12-12T18:57:25Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• PanopticNeRF-360: Panoramic 3D-to-2D Label Transfer in Urban Scenes [56.297018535422524]
  自動運転車の認識システムの訓練には、相当なアノテーションが必要である。 既存のデータセットは、事前に記録されたシーケンスに対して豊富なアノテーションを提供するが、ほとんど遭遇しない視点のラベル付けに不足している。 粗い3Dアノテーションとノイズの多い2Dセマンティックキューを組み合わせて一貫したパノプティカルラベルを生成する新しいアプローチであるPanopticNeRF-360を提案する。
  論文  参考訳（メタデータ） (2023-09-19T17:54:22Z)
• RenderOcc: Vision-Centric 3D Occupancy Prediction with 2D Rendering Supervision [36.15913507034939]
  RenderOccは2次元ラベルのみを用いて3次元占有モデルを訓練するための新しいパラダイムである。 具体的には、マルチビュー画像からNeRFスタイルの3Dボリューム表現を抽出する。 ボリュームレンダリング技術を用いて2次元レンダリングを確立することにより,2次元セマンティクスや深度ラベルから直接の3D監視を可能にする。
  論文  参考訳（メタデータ） (2023-09-18T06:08:15Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Learning 3D Semantic Segmentation with only 2D Image Supervision [18.785840615548473]
  多視点融合を用いた2次元意味画像分割から派生した擬似ラベルから3次元モデルを訓練する。 提案するネットワークアーキテクチャである2D3DNetは,5大陸20都市で撮影されたライダーと画像を備えた新しい都市データセットの実験において,ベースラインよりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-10-21T17:56:28Z)
• 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
  本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。 手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
  論文  参考訳（メタデータ） (2020-12-01T03:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。