論文の概要: Multi-task 3D building understanding with multi-modal pretraining

• arxiv url: http://arxiv.org/abs/2306.10146v1
• Date: Fri, 16 Jun 2023 19:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 00:04:21.176329
• Title: Multi-task 3D building understanding with multi-modal pretraining
• Title（参考訳）: マルチモーダル事前学習によるマルチタスク3Dビルディング理解
• Authors: Shicheng Xu
• Abstract要約: 本稿では,ビルディングネットデータセットにおける3次元ビルディング型分類と部分分割の学習戦略について検討する。 マルチモーダル事前訓練による最良のマルチタスク PointNeXt-s モデルは、3Dビルディングタイプ分類における59.36の精度、バリデーション分割における3Dビルディング部分分割のための31.68のPartIoUを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores various learning strategies for 3D building type classification and part segmentation on the BuildingNet dataset. ULIP with PointNeXt and PointNeXt segmentation are extended for the classification and segmentation task on BuildingNet dataset. The best multi-task PointNeXt-s model with multi-modal pretraining achieves 59.36 overall accuracy for 3D building type classification, and 31.68 PartIoU for 3D building part segmentation on validation split. The final PointNeXt XL model achieves 31.33 PartIoU and 22.78 ShapeIoU on test split for BuildingNet-Points segmentation, which significantly improved over PointNet++ model reported from BuildingNet paper, and it won the 1st place in the BuildingNet challenge at CVPR23 StruCo3D workshop.
• Abstract（参考訳）: 本稿では,ビルディングネットデータセットにおける3次元ビルディング型分類と部分分割の学習戦略について検討する。 PointNeXtとPointNeXtのセグメンテーションによるULIPは、BuildingNetデータセットの分類とセグメンテーションタスクのために拡張される。 マルチモーダル事前訓練による最良のマルチタスク PointNeXt-s モデルは、3Dビルディングタイプ分類の総合的精度59.36、バリデーション分割の3Dビルディング部分分割の31.68 PartIoU を達成する。 最後のpointnext xlモデルは、ビルディングネット-ポイントセグメンテーションのテストスプリットにおいて31.33 partiouと22.78 shapeiouを達成し、ビルディングネットの論文で報告されたpointnet++モデルよりも大幅に改善され、cvpr23 struco3dワークショップのビルディングネットチャレンジで1位を獲得した。

関連論文リスト

• SegPoint: Segment Any Point Cloud via Large Language Model [62.69797122055389]
  我々は,多種多様なタスクにまたがるポイントワイドセグメンテーションマスクを生成するSegPointと呼ばれるモデルを提案する。 SegPointは、単一のフレームワーク内でさまざまなセグメンテーションタスクに対処する最初のモデルである。
  論文  参考訳（メタデータ） (2024-07-18T17:58:03Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [51.24979014650188]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• PointeNet: A Lightweight Framework for Effective and Efficient Point Cloud Analysis [28.54939134635978]
  PointeNetは、ポイントクラウド分析に特化したネットワークである。 本手法は,分類/分割ヘッドとシームレスに統合したり,市販の3Dオブジェクト検出ネットワークに埋め込んだりすることで,柔軟性を示す。 ModelNet40、ScanObjectNN、ShapeNet KITTI、およびシーンレベルのデータセットKITTIを含むオブジェクトレベルのデータセットの実験は、ポイントクラウド分析における最先端メソッドよりもPointeNetの方が優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-20T03:34:48Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• BPNet: B\'ezier Primitive Segmentation on 3D Point Clouds [17.133617027574353]
  BPNetは、3Dポイントクラウド上のB'ezierプリミティブセグメンテーションを学ぶための、新しいエンドツーエンドのディープラーニングフレームワークである。 B'ezierプリミティブセグメンテーションと幾何フィッティングを同時に学習するための共同最適化フレームワークが提案されている。 実験では,推定速度が大幅に速く,従来の作業よりもセグメンテーションにおいて優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-08T16:46:01Z)
• A Review of Panoptic Segmentation for Mobile Mapping Point Clouds [16.78395191633382]
  3Dポイント・クラウド・パノプティック・セグメンテーションは、(i)各ポイントをセマンティック・クラスに割り当て、(ii)各クラスのポイントをオブジェクト・インスタンスに分割する複合タスクである。 近年,セマンティックセグメンテーションの急速な進歩を基盤として,このような総合的な3Dシーン理解への関心が高まっている。 しかし、現在、屋外のモバイル・マッピングデータのパノプティック・セグメンテーションに関する研究はほとんど行われておらず、体系的な比較は行われていない。
  論文  参考訳（メタデータ） (2023-04-27T07:07:18Z)
• Variational Relational Point Completion Network for Robust 3D Classification [59.80993960827833]
  可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。 本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。 VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-04-18T17:03:20Z)
• PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models [56.324516906160234]
  一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。 本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。 我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
  論文  参考訳（メタデータ） (2022-12-03T06:59:01Z)
• BuildingNet: Learning to Label 3D Buildings [19.641000866952815]
  BuildingNet: (a)外装が一貫してラベル付けされている大規模な3Dビルディングモデル、(b)幾何学的プリミティブの分析と構造的関係をビルディングにラベル付けするニューラルネットワーク。 データセットは、家、教会、高層ビル、市役所、城などのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2021-10-11T01:45:26Z)
• PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
  私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。 我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。 クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。 ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
  論文  参考訳（メタデータ） (2020-04-03T16:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。