論文の概要: CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

• arxiv url: http://arxiv.org/abs/2412.03059v2
• Date: Mon, 10 Mar 2025 03:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:40:52.341084
• Title: CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning
• Title（参考訳）: CLAP:曲線サンプリングとプロトタイプ学習による核融合3次元知覚のための教師なし3次元表現学習
• Authors: Runjian Chen, Hang Zhang, Avinash Ravichandran, Hyoungseob Park, Wenqi Shao, Alex Wong, Ping Luo,
• Abstract要約: CLAPと呼ばれる画像と点雲の教師なし微分レンダリングに基づく事前学習手法を提案する。 本手法は、事前学習のためのより情報性の高い点/画素を選択するために、曲率サンプリングによる計算ハードルを克服する。 CLAPは従来のSOTA事前学習法と比較して最大100%性能向上を達成した。
• 参考スコア（独自算出の注目度）: 43.7594705101778
• License:
• Abstract: Unsupervised 3D representation learning reduces the burden of labeling multimodal 3D data for fusion perception tasks. Among different pre-training paradigms, differentiable-rendering-based methods have shown most promise. However, existing works separately conduct pre-training for each modalities due to computational costs of processing large point clouds with images. As such, mutual benefit of high-level semantics (from image) and 3D structure (from point cloud) has not been exploited. To address this gap, we propose a joint unsupervised differentiable-rendering-based pre-training method for images and point clouds, termed CLAP, short for Curvature sampLing and leArnable Prototype. Specifically, our method overcomes the computational hurdle by Curvature Sampling to select the more informative points/pixels for pre-training. To uncover the performance benefits brought by their complementarity, we propose to use learnable prototypes to represent parts of the 3D scenes in a common feature space and an Expectation-Maximization training scheme to associate embeddings of each modality to prototypes. We further propose a swapping prediction loss that explores their interplay through prototypes along with a Gram Matrix Regularization term to maintain training stability. Experiments on NuScenes and Waymo datasets show that CLAP achieves up to 100% more performance gain as compared to previous SOTA pre-training methods. Codes and models will be released.
• Abstract（参考訳）: 教師なし3D表現学習は、融合知覚タスクのためのマルチモーダル3Dデータのラベル付けの負担を軽減する。 事前学習のパラダイムの中で、差別化可能なレンダリングベースの手法は最も有望である。 しかし,既存の研究では,画像による大点雲の処理に要する計算コストのため,各モードに対する事前学習が別々に行われている。 そのため、高レベルのセマンティクス(画像から)と3D構造(点雲から)の相互利益は利用されていない。 このギャップに対処するため,画像と点雲の非教師付き微分可能レンダリングに基づく事前学習手法(CLAP, Curvature sampLing と leArnable Prototype の略)を提案する。 具体的には、曲線サンプリングによる計算ハードルを克服し、事前学習のためのより情報のある点/画素を選択する。 相補性によってもたらされるパフォーマンスの利点を明らかにするため,共通特徴空間内の3次元シーンの一部を表現するための学習可能なプロトタイプと,各モードの埋め込みをプロトタイプに関連付けるための期待最大化トレーニングスキームを提案する。 さらに,学習の安定性を維持するため,プロトタイプによる相互作用をGram Matrix Regularization項とともに探索するスワッピング予測損失を提案する。 NuScenesとWaymoデータセットの実験では、CLAPは以前のSOTA事前トレーニング手法と比較して最大100%パフォーマンス向上を達成した。 コードとモデルがリリースされる。

関連論文リスト

• Introducing 3D Representation for Medical Image Volume-to-Volume Translation via Score Fusion [3.3559609260669303]
  Score-Fusionは、垂直に訓練された2次元拡散モデルをスコア関数空間に組み込むことで、3次元表現を効果的に学習する新しいボリューム変換モデルである。 Score-Fusionは,3次元医用画像の高分解能・モダリティ変換において,高い精度と容積忠実性が得られることを示す。
  論文  参考訳（メタデータ） (2025-01-13T15:54:21Z)
• CLIP-GS: Unifying Vision-Language Representation with 3D Gaussian Splatting [88.24743308058441]
  3DGSを基盤とした新しいマルチモーダル表現学習フレームワークであるCLIP-GSを提案する。 我々は,3DGS,画像,テキストの三重項を生成する効率的な方法を開発し,CLIP-GSによるマルチモーダル表現の学習を容易にする。
  論文  参考訳（メタデータ） (2024-12-26T09:54:25Z)
• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本研究では,ガウスプレートの拡散モデルであるSplatDiffusionを導入し,単一画像から3次元構造を生成する。 既存の方法は決定論的フィードフォワード予測に依存しており、2Dデータからの3D推論の本質的な曖昧さを扱う能力を制限する。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)
• Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
  回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。 本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。 提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-18T10:13:53Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• A Closer Look at Invariances in Self-supervised Pre-training for 3D Vision [0.0]
  3Dビジョンのための自己監督型事前訓練は近年研究の関心が高まっている。 本稿では,様々な事前学習手法を検証可能な統合フレームワークを提案する。 コントラスト学習を用いた3次元エンコーダと深度マップエンコーダを併用した簡易かつ効果的な事前学習法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:15Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。