論文の概要: Multi-modal Multi-task Pre-training for Improved Point Cloud Understanding

• arxiv url: http://arxiv.org/abs/2507.17533v1
• Date: Wed, 23 Jul 2025 14:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:15.036525
• Title: Multi-modal Multi-task Pre-training for Improved Point Cloud Understanding
• Title（参考訳）: ポイントクラウド理解のためのマルチモーダルマルチタスク事前学習
• Authors: Liwen Liu, Weidong Yang, Lipeng Ma, Ben Fei,
• Abstract要約: 我々は,ポイントクラウド理解を高めるためのマルチモーダルマルチタスク事前学習フレームワークMMPTを提案する。 3つの事前学習課題が考案された: トークンレベル再構築(TLR)、ポイントレベル再構築(PLR)、マルチモーダルコントラスト学習(MCL)。 MCLは、3Dポイントクラウドと2Dイメージモダリティの両方からリッチな学習信号を組み立てる。
• 参考スコア（独自算出の注目度）: 4.649202831575798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in multi-modal pre-training methods have shown promising effectiveness in learning 3D representations by aligning multi-modal features between 3D shapes and their corresponding 2D counterparts. However, existing multi-modal pre-training frameworks primarily rely on a single pre-training task to gather multi-modal data in 3D applications. This limitation prevents the models from obtaining the abundant information provided by other relevant tasks, which can hinder their performance in downstream tasks, particularly in complex and diverse domains. In order to tackle this issue, we propose MMPT, a Multi-modal Multi-task Pre-training framework designed to enhance point cloud understanding. Specifically, three pre-training tasks are devised: (i) Token-level reconstruction (TLR) aims to recover masked point tokens, endowing the model with representative learning abilities. (ii) Point-level reconstruction (PLR) is integrated to predict the masked point positions directly, and the reconstructed point cloud can be considered as a transformed point cloud used in the subsequent task. (iii) Multi-modal contrastive learning (MCL) combines feature correspondences within and across modalities, thus assembling a rich learning signal from both 3D point cloud and 2D image modalities in a self-supervised manner. Moreover, this framework operates without requiring any 3D annotations, making it scalable for use with large datasets. The trained encoder can be effectively transferred to various downstream tasks. To demonstrate its effectiveness, we evaluated its performance compared to state-of-the-art methods in various discriminant and generative applications under widely-used benchmarks.
• Abstract（参考訳）: 近年のマルチモーダル事前学習手法の進歩は、3次元形状とそれに対応する2次元形状の多モーダル特徴を整列させることにより、3次元表現の学習において有望な効果を示した。 しかし、既存のマルチモーダル事前トレーニングフレームワークは、主に3Dアプリケーションでマルチモーダルデータを収集するための単一の事前トレーニングタスクに依存している。 この制限により、モデルは、他の関連するタスクによって提供される豊富な情報を得ることができず、特に複雑で多様な領域において、下流タスクのパフォーマンスを阻害することができる。 そこで本研究では,ポイントクラウド理解の向上を目的としたマルチモーダルマルチタスク事前学習フレームワークMMPTを提案する。 具体的には,3つの事前訓練タスクを考案する。 (i)Token-level reconstruction (TLR)は,代表的な学習能力を持つモデルを提供することにより,マスク付きポイントトークンを復元することを目的としている。 二 点レベルの再構成(PLR)を統合して、マスクされた点位置を直接予測し、再建された点雲をその後のタスクで使用する変換点雲とみなすことができる。 三 マルチモーダルコントラスト学習(MCL)は、3Dポイントクラウドと2Dイメージモダリティの両方からリッチな学習信号を自己管理的に組み立てる。 さらに、このフレームワークは3Dアノテーションを必要とせずに動作し、大規模なデータセットで使用するためにスケーラブルである。 訓練されたエンコーダは、様々な下流タスクに効果的に転送できる。 本手法の有効性を実証するため, 広く用いられているベンチマークにおいて, 様々な識別・生成アプリケーションにおける最先端手法と比較して評価を行った。

関連論文リスト

• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations? [55.99654128127689]
  クロスモーダル・コントラスト蒸留は近年,有効3次元表現の学習のために研究されている。 既存の手法は主にモーダリティ共有の特徴に焦点を合わせ、事前学習過程におけるモーダリティ固有の特徴を無視している。 本稿では,これらの欠点に対処する新しいフレームワークCMCRを提案する。
  論文  参考訳（メタデータ） (2024-12-12T06:09:49Z)
• Multi-modal Relation Distillation for Unified 3D Representation Learning [30.942281325891226]
  マルチモーダルリレーショナル蒸留(Multi-modal Relation Distillation、MRD)は、3次元バックボーンに再生可能な大型ビジョンランゲージモデル(VLM)を蒸留するために設計された3次元事前学習フレームワークである。 MRDは、各モダリティ内の関係と異なるモダリティ間の相互関係をキャプチャし、より差別的な3D形状表現を作り出すことを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T03:43:48Z)
• WHU-Synthetic: A Synthetic Perception Dataset for 3-D Multitask Model Research [9.945833036861892]
  WHU-Syntheticは、マルチタスク学習用に設計された大規模3D合成認識データセットである。 我々は,現実のシナリオにおいて実現が困難である特定のアイデアを実現するために,いくつかの新しい設定を実装している。
  論文  参考訳（メタデータ） (2024-02-29T11:38:44Z)
• Cross-BERT for Point Cloud Pretraining [61.762046503448936]
  我々はクロスモーダルなBERTスタイルの自己教師型学習パラダイムであるCross-BERTを提案する。 不規則な点雲とスパースな点雲の事前訓練を容易にするために,2つの自己教師型タスクを設計し,相互モーダル相互作用を促進させる。 本研究は,3Dポイントクラウド表現の強化とBERTのモダリティ間の伝達能力を高めるために,クロスモーダルな2D知識を活用することの有効性を強調した。
  論文  参考訳（メタデータ） (2023-12-08T08:18:12Z)
• Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
  ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。 シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。 教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:57Z)
• FULLER: Unified Multi-modality Multi-task 3D Perception via Multi-level Gradient Calibration [89.4165092674947]
  マルチモダリティ融合とマルチタスク学習は、3D自動運転シナリオにおいてトレンドになりつつある。 先行研究は、学習フレームワークを経験的な知識で手作業で調整し、それがサブオプティマに繋がる可能性がある。 そこで本稿では,最適化中のタスクやモダリティにまたがる,シンプルなマルチレベル勾配校正学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T12:50:15Z)
• Joint 2D-3D Multi-Task Learning on Cityscapes-3D: 3D Detection, Segmentation, and Depth Estimation [11.608682595506354]
  TaskPrompterは革新的なマルチタスクプロンプトフレームワークを提供する。 i)タスク・ジェネリックな表現、ii)タスク固有の表現、iii)タスク間の相互作用の学習を統一する。 新しいベンチマークでは、モノクロ3D車両の検出、セマンティックセグメンテーション、モノクロ深度推定の予測を同時に生成するためにマルチタスクモデルが必要である。
  論文  参考訳（メタデータ） (2023-04-03T13:41:35Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。