論文の概要: Self-Supervised and Generalizable Tokenization for CLIP-Based 3D Understanding

• arxiv url: http://arxiv.org/abs/2505.18819v1
• Date: Sat, 24 May 2025 18:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.678096
• Title: Self-Supervised and Generalizable Tokenization for CLIP-Based 3D Understanding
• Title（参考訳）: CLIPに基づく3次元理解のための自己監督と一般化可能なトークン化
• Authors: Guofeng Mei, Bin Ren, Juan Liu, Luigi Riz, Xiaoshui Huang, Xu Zheng, Yongshun Gong, Ming-Hsuan Yang, Nicu Sebe, Fabio Poiesi,
• Abstract要約: 凍結したCLIPバックボーンを用いたスケール不変表現学習のためのユニバーサル3Dトークン化器を提案する。 S4Tokenは、シーンスケールに関係なくセマンティックインフォームドトークンを生成するトークン化パイプラインである。
• 参考スコア（独自算出の注目度）: 87.68271178167373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models like CLIP can offer a promising foundation for 3D scene understanding when extended with 3D tokenizers. However, standard approaches, such as k-nearest neighbor or radius-based tokenization, struggle with cross-domain generalization due to sensitivity to dataset-specific spatial scales. We present a universal 3D tokenizer designed for scale-invariant representation learning with a frozen CLIP backbone. We show that combining superpoint-based grouping with coordinate scale normalization consistently outperforms conventional methods through extensive experimental analysis. Specifically, we introduce S4Token, a tokenization pipeline that produces semantically-informed tokens regardless of scene scale. Our tokenizer is trained without annotations using masked point modeling and clustering-based objectives, along with cross-modal distillation to align 3D tokens with 2D multi-view image features. For dense prediction tasks, we propose a superpoint-level feature propagation module to recover point-level detail from sparse tokens.
• Abstract（参考訳）: CLIPのようなビジョン言語モデルは、3Dトークンライザの拡張時に3Dシーン理解のための有望な基盤を提供する。 しかし、k-アネレスト近傍や半径ベースのトークン化のような標準的なアプローチは、データセット固有の空間スケールに対する感度によるクロスドメインの一般化に苦慮している。 凍結したCLIPバックボーンを用いたスケール不変表現学習のためのユニバーサル3Dトークン化器を提案する。 座標スケール正規化とスーパーポイントベースグルーピングの組み合わせは、広範囲な実験分析により従来の手法より一貫して優れていることを示す。 具体的には,シーンスケールに関係なく意味的にインフォームされたトークンを生成するトークン化パイプラインであるS4Tokenを紹介する。 我々のトークンライザは,3次元トークンを2次元多視点画像特徴と整合させるクロスモーダル蒸留とともに,マスク付きポイントモデリングとクラスタリングに基づく目的を用いたアノテーションを使わずに訓練されている。 密集した予測タスクに対して,スパーストークンからポイントレベルの詳細を復元するスーパーポイントレベルの特徴伝搬モジュールを提案する。

関連論文リスト

• OpenSU3D: Open World 3D Scene Understanding using Foundation Models [2.1262749936758216]
  オープンセット, インスタンスレベルの3次元シーン表現を構築するための, 新規でスケーラブルなアプローチを提案する。 既存の方法は、事前に構築された3Dシーンと、ポイント単位の機能ベクトル学習によるスケーラビリティの問題を必要とする。 ゼロショット一般化機能を示すScanNetとReplicaのデータセットから,複数のシーンに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-07-19T13:01:12Z)
• AutoInst: Automatic Instance-Based Segmentation of LiDAR 3D Scans [41.17467024268349]
  3D環境を理解するには、きめ細かい風景を理解する必要がある。 教師なしの方法で3次元シーンのインスタンスセグメンテーションを予測することを提案する。 平均精度は13.3%,F1スコアは9.1%向上した。
  論文  参考訳（メタデータ） (2024-03-24T22:53:16Z)
• PointSeg: A Training-Free Paradigm for 3D Scene Segmentation via Foundation Models [51.24979014650188]
  我々は、市販の視覚基盤モデルを利用して、3Dシーン認識タスクに対処する学習自由パラダイムであるPointSegを提案する。 PointSegは正確な3Dプロンプトを取得してフレーム間で対応するピクセルを調整することで、任意の3Dシーンを分割することができる。 ScanNet、ScanNet++、KITTI-360データセット上の14.1$%、12.3$%、12.6$%のmAPは、最先端のトレーニングフリーモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-11T03:28:20Z)
• Transferring CLIP's Knowledge into Zero-Shot Point Cloud Semantic Segmentation [17.914290294935427]
  従来の3Dセグメンテーション手法では、トレーニングセットに現れる一定の範囲のクラスしか認識できない。 CLIPのような大規模ビジュアル言語事前訓練モデルでは、ゼロショット2Dビジョンタスクにおいて、その一般化能力を示している。 本稿では,CLIPが入力する視覚言語知識をクラウドエンコーダに転送するための,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-12-12T12:35:59Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation [19.706172244951116]
  本稿では,U3DS$3$について,総合的な3Dシーンに対して,完全に教師なしのポイントクラウドセグメンテーションに向けたステップとして提示する。 提案手法の最初のステップは,各シーンの幾何学的特徴に基づいてスーパーポイントを生成することである。 次に、空間クラスタリングに基づく手法を用いて学習プロセスを行い、次いで、クラスタセントロイドに応じて生成された擬似ラベルを用いて反復的なトレーニングを行う。
  論文  参考訳（メタデータ） (2023-11-10T12:05:35Z)
• CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP [55.864132158596206]
  Contrastive Language-Image Pre-Training (CLIP) は、2次元ゼロショットおよび少数ショット学習において有望な結果をもたらす。 私たちは,CLIP知識が3Dシーン理解にどう役立つか,最初の試みを行う。 筆者らは,CLIPの知識を2次元画像テキスト事前学習モデルから3次元ポイント・クラウド・ネットワークに転送するフレームワークであるCLIP2Sceneを提案する。
  論文  参考訳（メタデータ） (2023-01-12T10:42:39Z)
• ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
  ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。 推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
  論文  参考訳（メタデータ） (2022-01-19T18:57:21Z)
• DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
  生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。 各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
  論文  参考訳（メタデータ） (2020-07-17T20:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。