論文の概要: ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2410.13924v1
• Date: Thu, 17 Oct 2024 14:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:40.568345
• Title: ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding
• Title（参考訳）: ARKit LabelMaker: 屋内3Dシーン理解のための新しいスケール
• Authors: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum,
• Abstract要約: 我々はARKit LabelMakerを紹介した。これは、密集したセマンティックアノテーションを備えた、最初の大規模で現実世界の3Dデータセットである。 また,3次元セマンティックセグメンテーションモデルを用いて,ScanNetおよびScanNet200データセットの最先端性能を推し進める。
• 参考スコア（独自算出の注目度）: 51.509115746992165
• License:
• Abstract: The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.
• Abstract（参考訳）: ニューラルネットワークのパフォーマンスは、サイズとトレーニングされたデータの量の両方でスケールする。 これは言語と画像の生成の両方で示される。 しかし、これはスケールしやすいネットワークアーキテクチャと大規模データセットを必要とする。 トランスフォーマーのようなスケーリングフレンドリーなアーキテクチャは、3Dビジョンタスクのために登場したが、トレーニングデータがないため、3DビジョンのGPTモーメントは遠いままである。 本稿では,ARKit LabelMakerについて紹介する。 具体的には、ARKitScenesデータセットを、大規模に自動生成される高密度なセマンティックアノテーションで補完する。 この目的のために,最近の自動アノテーションパイプラインであるLabelMakerを拡張して,大規模な事前トレーニングのニーズに応える。 これには、最先端のセグメンテーションモデルによるパイプラインの拡張と、大規模処理の課題に対する堅牢化が含まれる。 さらに,3次元セマンティックセグメンテーションモデルを用いてScanNetおよびScanNet200データセットの最先端性能を推し進め,生成したデータセットの有効性を実証した。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• LABELMAKER: Automatic Semantic Label Generation from RGB-D Trajectories [59.14011485494713]
  この研究は、完全に自動化された2D/3Dラベリングフレームワークを導入し、RGB-Dスキャンのラベルを同等(あるいはそれ以上)の精度で生成できる。 我々は、ScanNetデータセットのラベルを大幅に改善し、これまでラベル付けされていなかったARKitScenesデータセットを自動的にラベル付けすることで、LabelMakerパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-20T20:40:24Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving [34.368848580725576]
  我々は,任意のシーンに対して,濃密で可視性に配慮したラベルを生成するラベル生成パイプラインを開発した。 このパイプラインは、ボクセルの密度化、推論、画像誘導ボクセル精製の3段階からなる。 我々は、Occ3Dベンチマークにおいて優れた性能を示すCTF-Occネットワークと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-27T17:40:08Z)
• Swin3D: A Pretrained Transformer Backbone for 3D Indoor Scene Understanding [40.68012530554327]
  室内3Dシーン理解のための3DバックボーンであるSSTを導入する。 我々は,線形メモリの複雑さを伴うスパースボクセルの自己アテンションを効率的に行える3Dスウィントランスを,バックボーンネットワークとして設計する。 我々のアプローチによって実現されたスケーラビリティ、汎用性、優れたパフォーマンスをさらに検証する大規模なアブレーション研究のシリーズである。
  論文  参考訳（メタデータ） (2023-04-14T02:49:08Z)
• Semi-Weakly Supervised Object Kinematic Motion Prediction [56.282759127180306]
  3Dオブジェクトが与えられた場合、運動予測は移動部と対応する運動パラメータを識別することを目的としている。 階層的部分分割と移動部パラメータのマップを学習するグラフニューラルネットワークを提案する。 ネットワーク予測は、擬似ラベル付き移動情報を持つ大規模な3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2023-03-31T02:37:36Z)
• H3D: Benchmark on Semantic Segmentation of High-Resolution 3D Point Clouds and textured Meshes from UAV LiDAR and Multi-View-Stereo [4.263987603222371]
  本稿では,3つの方法でユニークな3次元データセットを提案する。 ヘシグハイム(ドイツ語: Hessigheim, H3D)は、ドイツの都市。 片手で3次元データ分析の分野での研究を促進するとともに、新しいアプローチの評価とランク付けを目的としている。
  論文  参考訳（メタデータ） (2021-02-10T09:33:48Z)
• Rapid Pose Label Generation through Sparse Representation of Unknown Objects [7.32172860877574]
  本研究は、未知のオブジェクトに対する実世界のポーズアノテートされたRGB-Dデータを高速に生成するためのアプローチを提案する。 我々はまず、RGB-Dビデオのセット上で任意に選択されたキーポイントの順序付きセットの最小限のラベルを出力する。 最適化問題を解くことにより、これらのラベルをワールドフレームの下に組み合わせ、スパースでキーポイントに基づくオブジェクトの表現を復元する。
  論文  参考訳（メタデータ） (2020-11-07T15:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。