論文の概要: TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

• arxiv url: http://arxiv.org/abs/2607.10762v1
• Date: Sun, 12 Jul 2026 13:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.524728
• Title: TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation
• Title（参考訳）: TOLiD:Vision Foundation ModelのアーキテクチャギャップをToken Lifting経由でLiDARプレトレーニングにブリッジ
• Abstract要約: Vision Foundation ModelsからLiDARバックボーンへのクロスモーダル蒸留は、最近、自己監督型事前訓練戦略として登場した。 我々は、LiDARのバックボーンと学生ビジョン変換器(ViT)を結合することで、このギャップに対処するLiDAR表現学習のための自己教師付き事前学習方法TOLiDを提案する。 5つの異種LiDARデータセットと4つのクロスセンサー適応ペア上でTOLiDを広範囲に評価し、凍結したバックボーンと軽量ヘッドによる転送の改善を実証した。
• 参考スコア（独自算出の注目度）: 35.87108218739986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal distillation from Vision Foundation Models (VFMs) to LiDAR backbones has recently emerged as a self-supervised pretraining strategy that reduces reliance on dense point-wise annotation for 3D scene understanding. However, existing distillation pipelines typically treat the VFM as a frozen feature source and train a heterogeneous 3D backbone to match fixed image embeddings, forcing the student to bridge both the modality gap and the cross-architecture gap between dense ViT token representations and sparse 3D encoders. We propose TOLiD, a self-supervised pretraining method for LiDAR representation learning that addresses this gap by coupling a LiDAR backbone with a student Vision Transformer (ViT) initialized from a frozen VFM teacher and applying supervision over compatible patch-token representations. TOLiD converts the set of point features within each image patch frustum into a token using Frustum Pooling followed by Frustum Attention, and performs token-level distillation with visibility masking. For LiDAR-only deployment, we lift token features back to per-point representations using masked bilinear sampling to avoid patches that have limited LiDAR points. We extensively evaluate TOLiD on five heterogeneous LiDAR datasets and four cross-sensor adaptation pairs, demonstrating improved transfer with frozen backbones and lightweight heads.
• Abstract（参考訳）: ビジョンファウンデーション・モデル(VFM)からLiDARのバックボーンへのクロスモーダル蒸留は、最近、3Dシーン理解のための高密度ポイントワイドアノテーションへの依存を減らす自己教師付き事前学習戦略として登場した。 しかしながら、既存の蒸留パイプラインは通常、VFMを凍結した特徴源として扱い、不均一な3Dバックボーンをトレーニングし、固定された画像埋め込みと一致するようにし、学生は高密度なViTトークン表現とスパース3Dエンコーダの間のモダリティギャップとクロスアーキテクチャギャップの両方をブリッジせざるを得なかった。 凍結したVFM教師から初期化された学生ビジョン変換器(ViT)とLiDARのバックボーンを結合し、互換性のあるパッチトーケン表現の監督を適用することで、このギャップに対処するLiDAR表現学習のための自己教師付き事前学習手法TOLiDを提案する。 TOLiD は Frustum Pooling と Frustum Attention を用いて各イメージパッチフラストラム内の点特徴のセットをトークンに変換し、可視性マスキングによるトークンレベルの蒸留を行う。 LiDARのみのデプロイメントでは、マスク付きバイリニアサンプリングを使用してトークン機能をポイント単位の表現に戻すことで、LiDARポイントに制限のあるパッチを回避する。 5つの異種LiDARデータセットと4つのクロスセンサー適応ペア上でTOLiDを広範囲に評価し、凍結したバックボーンと軽量ヘッドによる転送の改善を実証した。

関連論文リスト

• Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
  PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。 PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-26T08:31:06Z)
• Beyond One Shot, Beyond One Perspective: Cross-View and Long-Horizon Distillation for Better LiDAR Representations [23.21118045286231]
  LiMAは、LiDAR表現学習を強化するために、より長い時間的相関をキャプチャする新しいフレームワークである。 LiMAは事前トレーニングの効率が高く、下流タスク中に計算オーバーヘッドを発生させることはない。 主流のLiDARベースの知覚ベンチマークの実験により、LiMAはLiDARセマンティックセグメンテーションと3Dオブジェクト検出の両方を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-07-07T17:59:58Z)
• Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters [32.21090169762889]
  BALViTは、凍結視覚モデルを利用して強力なLiDARエンコーダを学習するためのアモーダル機能エンコーダである。 コードとモデルは、http://balvit.cs.uni-freiburg.deで公開しています。
  論文  参考訳（メタデータ） (2025-03-05T09:30:49Z)
• Mapping and Localization Using LiDAR Fiducial Markers [0.8702432681310401]
  Dissertationは、LiDARフィデューシャルマーカーを用いたマッピングとローカライゼーションのための新しいフレームワークを提案する。 Intensity Image-based LiDAR Fiducial Marker (IFM)システムを導入する。 LFMに基づく新しいマッピングとローカライズ手法は、順序のない低オーバーラップ点雲を登録する。
  論文  参考訳（メタデータ） (2025-02-05T17:33:59Z)
• LiMoE: Mixture of LiDAR Representation Learners from Automotive Scenes [55.33167217384738]
  LiMoEは、Mixture of Experts(MoE)パラダイムをLiDARデータ表現学習に統合するフレームワークである。 我々のアプローチは3つの段階からなる: Image-to-LiDAR Pretraining, Contrastive Mixture Learning (CML), Semantic Mixture Supervision (SMS)。
  論文  参考訳（メタデータ） (2025-01-07T18:59:58Z)
• Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception [17.11366229887873]
  我々は、統合事前訓練戦略、NeRF-Supervised Masked Auto(NS-MAE)を導入する。 NS-MAEは、外観と幾何学の両方を符号化するNeRFの能力を利用して、マルチモーダルデータの効率的なマスク付き再構築を可能にする。 結果: NS-MAE は SOTA 事前学習法よりも優れており,各モードに対して個別の戦略を用いる。
  論文  参考訳（メタデータ） (2024-05-28T08:13:49Z)
• Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
  Visual Foundation Models (VFM) は、弱い教師付きピクセル対ポイントのコントラスト蒸留のためのセマンティックラベルを生成するために使用される。 我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。 我々の手法は、下流タスクにおける既存の画像からLiDARへのコントラスト蒸留法を一貫して超越している。
  論文  参考訳（メタデータ） (2024-05-23T07:48:19Z)
• Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
  我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。 結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。 この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2024-05-08T17:59:53Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。