論文の概要: Point Cloud Self-supervised Learning via 3D to Multi-view Masked Learner

• arxiv url: http://arxiv.org/abs/2311.10887v2
• Date: Sun, 27 Jul 2025 21:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.076539
• Title: Point Cloud Self-supervised Learning via 3D to Multi-view Masked Learner
• Title（参考訳）: 3D-マルチビューマスク学習者によるポイントクラウド自己教師型学習
• Authors: Zhimin Chen, Xuewei Chen, Xiao Guo, Yingwei Li, Longlong Jing, Liang Yang, Bing Li,
• Abstract要約: 本稿では,3次元と投影された2次元特徴から点雲と多視点画像を再構成する3次元から多視点自動エンコーダを提案する。 2次元と3次元の表現を整合させる新しい2段階の自己学習戦略が提案されている。 提案手法は,3次元分類,部分分割,オブジェクト検出など,さまざまな下流タスクにおいて,最先端のタスクよりも優れる。
• 参考スコア（独自算出の注目度）: 19.908670991088556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, multi-modal masked autoencoders (MAE) has been introduced in 3D self-supervised learning, offering enhanced feature learning by leveraging both 2D and 3D data to capture richer cross-modal representations. However, these approaches have two limitations: (1) they inefficiently require both 2D and 3D modalities as inputs, even though the inherent multi-view properties of 3D point clouds already contain 2D modality. (2) input 2D modality causes the reconstruction learning to unnecessarily rely on visible 2D information, hindering 3D geometric representation learning. To address these challenges, we propose a 3D to Multi-View Learner (Multi-View ML) that only utilizes 3D modalities as inputs and effectively capture rich spatial information in 3D point clouds. Specifically, we first project 3D point clouds to multi-view 2D images at the feature level based on 3D-based pose. Then, we introduce two components: (1) a 3D to multi-view autoencoder that reconstructs point clouds and multi-view images from 3D and projected 2D features; (2) a multi-scale multi-head (MSMH) attention mechanism that facilitates local-global information interactions in each decoder transformer block through attention heads at various scales. Additionally, a novel two-stage self-training strategy is proposed to align 2D and 3D representations. Our method outperforms state-of-the-art counterparts across various downstream tasks, including 3D classification, part segmentation, and object detection.
• Abstract（参考訳）: 近年,マルチモーダルマスク付きオートエンコーダ (MAE) が3次元自己教師型学習に導入され,よりリッチなクロスモーダル表現を捉えるために2次元データと3次元データを活用することで機能学習が強化されている。 しかし、これらのアプローチには2つの制限がある: 1) 3次元点雲の性質が既に2次元モード性を含んでいるにもかかわらず、入力として2次元モードと3次元モードの両方を非効率に要求する。 2)入力2Dモダリティは,再現学習を視覚的2D情報に不必要に依存させ,幾何学的表現学習を阻害する。 これらの課題に対処するために,3次元モダリティのみを入力として利用し,リッチな空間情報を3次元点群で効果的に取得する3D to Multi-View Learner (Multi-View ML)を提案する。 具体的には、3Dベースのポーズに基づいて、まず3Dポイントクラウドをマルチビュー2D画像に特徴レベルで投影する。 次に,(1)3次元から3次元へのマルチビューオートエンコーダ,(2)マルチスケールのマルチヘッド(MSMH)アテンション機構を導入し,各デコーダのトランスフォーマブロックにおける局所的・グローバル的情報通信を容易にする。 さらに,2次元および3次元の表現の整合性を高めるために,新しい2段階の自己学習戦略を提案する。 提案手法は,3次元分類,部分分割,オブジェクト検出など,さまざまな下流タスクにおいて,最先端のタスクよりも優れる。

関連論文リスト

• TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [34.99141865569255]
  3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。 既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。 本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
  論文  参考訳（メタデータ） (2025-07-20T10:28:06Z)
• Unifying 2D and 3D Vision-Language Understanding [85.84054120018625]
  2次元および3次元視覚言語学習のための統一アーキテクチャUniVLGを紹介する。 UniVLGは、既存の2D中心モデルと、エンボディシステムで利用可能なリッチな3Dセンサーデータのギャップを埋める。
  論文  参考訳（メタデータ） (2025-03-13T17:56:22Z)
• Weakly Supervised Monocular 3D Detection with a Single-View Image [58.57978772009438]
  モノクロ3D検出は、単一視点画像からの正確な3Dオブジェクトのローカライゼーションを目的としている。 SKD-WM3Dは弱い教師付き単分子3D検出フレームワークである。 我々は,SKD-WM3Dが最先端技術を超え,多くの完全教師付き手法と同等であることを示した。
  論文  参考訳（メタデータ） (2024-02-29T13:26:47Z)
• MM-Point: Multi-View Information-Enhanced Multi-Modal Self-Supervised 3D Point Cloud Understanding [4.220064723125481]
  マルチビュー2D情報は、3Dオブジェクトに対して優れた自己教師付き信号を提供することができる。 MM-Pointは、モーダル内およびモーダル間類似性目的によって駆動される。 合成データセットModelNet40で92.4%、実世界のデータセットScanObjectNNで87.8%のピーク精度を達成した。
  論文  参考訳（メタデータ） (2024-02-15T15:10:17Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Multi-View Representation is What You Need for Point-Cloud Pre-Training [22.55455166875263]
  本稿では,事前学習した2次元ネットワークを利用して3次元表現を学習するポイントクラウド事前学習手法を提案する。 我々は,新しい2次元知識伝達損失の助けを借りて,3次元特徴抽出ネットワークを訓練する。 実験結果から,事前学習したモデルを様々な下流タスクに転送できることが判明した。
  論文  参考訳（メタデータ） (2023-06-05T03:14:54Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders [52.91248611338202]
  I2P-MAEという名前のイメージ・ツー・ポイント・マスケッド・オートエンコーダを用いて,2次元事前学習モデルから優れた3次元表現を得る方法を提案する。 自己教師付き事前学習により、よく学習された2D知識を利用して、3Dマスクによる自動エンコーディングをガイドする。 I2P-MAEは最先端の90.11%の精度、+3.68%の精度で第2ベストに到達し、より優れた転送能力を示す。
  論文  参考訳（メタデータ） (2022-12-13T17:59:20Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training [56.81809311892475]
  Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。 我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
  論文  参考訳（メタデータ） (2022-05-28T11:22:53Z)
• Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation [3.5939555573102853]
  近年の3次元セマンティックセグメンテーションの研究は、各モータリティを専用ネットワークで処理することで、画像と点雲の相乗効果を活用することを提案する。 任意の位置で撮影された画像から特徴をマージするために,3Dポイントの視聴条件を利用したエンドツーエンドのトレーニング可能な多視点アグリゲーションモデルを提案する。 本手法は,標準的な2Dネットワークと3Dネットワークを組み合わせることで,カラー化された点群とハイブリッドな2D/3Dネットワーク上での3Dモデルの性能を向上する。
  論文  参考訳（メタデータ） (2022-04-15T17:10:48Z)
• Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion [31.52721107477401]
  現在のLiDARのみの3D検出方法は、必然的に点雲の間隔に悩まされる。 本稿では,奥行き完了から発生する疑似点雲を利用した,新しいマルチモーダルフレームワークSFD(Sparse Fuse Dense)を提案する。 本手法は, SFD の有効性を実証し, 3D オブジェクト検出リーダボードのKITTI カーにおける最上位項目を保持する。
  論文  参考訳（メタデータ） (2022-03-18T07:56:35Z)
• CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
  CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。 提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2022-03-01T18:59:01Z)
• Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
  本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。 この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。 理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
  論文  参考訳（メタデータ） (2021-11-30T13:08:19Z)
• From Multi-View to Hollow-3D: Hallucinated Hollow-3D R-CNN for 3D Object Detection [101.20784125067559]
  本稿では,3次元物体検出の問題に対処するため,Halucinated Hollow-3D R-CNNという新しいアーキテクチャを提案する。 本稿では,まず,視点ビューと鳥眼ビューに点雲を逐次投影することで,多視点特徴を抽出する。 3Dオブジェクトは、新しい階層型Voxel RoIプール操作でボックスリファインメントモジュールを介して検出される。
  論文  参考訳（メタデータ） (2021-07-30T02:00:06Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences [32.01548991331616]
  本稿では,2次元画像特徴と3次元ポイントクラウド特徴の両方を学習するための,自己指導型学習手法を提案する。 注釈付きラベルを使わずに、クロスモダリティとクロスビュー対応を利用する。 学習した2次元特徴と3次元特徴の有効性を5つの異なるタスクで伝達することによって評価する。
  論文  参考訳（メタデータ） (2020-04-13T02:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。