論文の概要: Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing

• arxiv url: http://arxiv.org/abs/2505.08101v1
• Date: Mon, 12 May 2025 22:15:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.352042
• Title: Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing
• Title（参考訳）: 効率的なポイントクラウド処理のためのトポロジー誘導型知識蒸留
• Authors: Luu Tung Hai, Thinh D. Le, Zhicheng Ding, Qing Tian, Truong-Son Hy,
• Abstract要約: 本研究は,高能力教師から軽量学生モデルへ知識を伝達する新しい蒸留フレームワークを導入する。 提案手法は,学生モデルの学習過程を選択的に導きながら,点雲の基底となる幾何学的構造を捉える。 本手法は,LiDARデータのみに基づいて訓練された知識蒸留技術における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 3.3903891679981593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Point cloud processing has gained significant attention due to its critical role in applications such as autonomous driving and 3D object recognition. However, deploying high-performance models like Point Transformer V3 in resource-constrained environments remains challenging due to their high computational and memory demands. This work introduces a novel distillation framework that leverages topology-aware representations and gradient-guided knowledge distillation to effectively transfer knowledge from a high-capacity teacher to a lightweight student model. Our approach captures the underlying geometric structures of point clouds while selectively guiding the student model's learning process through gradient-based feature alignment. Experimental results in the Nuscenes, SemanticKITTI, and Waymo datasets demonstrate that the proposed method achieves competitive performance, with an approximately 16x reduction in model size and a nearly 1.9x decrease in inference time compared to its teacher model. Notably, on NuScenes, our method achieves state-of-the-art performance among knowledge distillation techniques trained solely on LiDAR data, surpassing prior knowledge distillation baselines in segmentation performance. Our implementation is available publicly at: https://github.com/HySonLab/PointDistill
• Abstract（参考訳）: ポイントクラウド処理は、自律運転や3Dオブジェクト認識などのアプリケーションにおいて重要な役割を担っているため、大きな注目を集めている。 しかしながら、Point Transformer V3のような高性能モデルをリソース制約のある環境にデプロイすることは、高い計算量とメモリ要求のため、依然として困難である。 本研究は, トポロジ対応表現と勾配誘導型知識蒸留を利用して, 高能力教師から軽量学生モデルへの知識伝達を効果的に行う新しい蒸留フレームワークを提案する。 提案手法は,勾配に基づく特徴アライメントを通じて,学生モデルの学習過程を選択的に導きながら,点雲の基底となる幾何学的構造を捉える。 Nuscenes, SemanticKITTI, Waymo のデータセットによる実験結果から,提案手法はモデルサイズを約16倍、推論時間を約1.9倍削減し, 競争性能を向上することが示された。 特に,NuScenesでは,LiDARデータのみをトレーニングした知識蒸留技術において,セグメンテーション性能の先行知識蒸留ベースラインを超越して,最先端の知識蒸留技術を実現する。 私たちの実装は、https://github.com/HySonLab/PointDistillで公開されています。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
  本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。 このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。 実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-03T16:12:12Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud Analysis [74.00441177577295]
  ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。 本稿では,軽量点雲モデルのための特徴蒸留について検討する。 本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
  論文  参考訳（メタデータ） (2023-10-08T11:32:50Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
  本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。 本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
  論文  参考訳（メタデータ） (2022-06-05T05:28:32Z)
• Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
  アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。 このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
  論文  参考訳（メタデータ） (2021-12-17T14:31:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。