論文の概要: Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud Analysis

• arxiv url: http://arxiv.org/abs/2310.05125v1
• Date: Sun, 8 Oct 2023 11:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:26:02.232534
• Title: Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud Analysis
• Title（参考訳）: 軽量点雲解析のための双方向知識再構成
• Authors: Peipei Li, Xing Cui, Yibo Hu, Man Zhang, Ting Yao, Tao Mei
• Abstract要約: ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。 本稿では,軽量点雲モデルのための特徴蒸留について検討する。 本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
• 参考スコア（独自算出の注目度）: 74.00441177577295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud analysis faces computational system overhead, limiting its application on mobile or edge devices. Directly employing small models may result in a significant drop in performance since it is difficult for a small model to adequately capture local structure and global shape information simultaneously, which are essential clues for point cloud analysis. This paper explores feature distillation for lightweight point cloud models. To mitigate the semantic gap between the lightweight student and the cumbersome teacher, we propose bidirectional knowledge reconfiguration (BKR) to distill informative contextual knowledge from the teacher to the student. Specifically, a top-down knowledge reconfiguration and a bottom-up knowledge reconfiguration are developed to inherit diverse local structure information and consistent global shape knowledge from the teacher, respectively. However, due to the farthest point sampling in most point cloud models, the intermediate features between teacher and student are misaligned, deteriorating the feature distillation performance. To eliminate it, we propose a feature mover's distance (FMD) loss based on optimal transportation, which can measure the distance between unordered point cloud features effectively. Extensive experiments conducted on shape classification, part segmentation, and semantic segmentation benchmarks demonstrate the universality and superiority of our method.
• Abstract（参考訳）: ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイス上のアプリケーションを制限する。 小さなモデルを直接使用すると、ローカルな構造とグローバルな形状情報を適切に捉えることが困難になるため、パフォーマンスが大幅に低下する可能性がある。 本稿では,軽量点雲モデルの特徴蒸留について述べる。 ライトウェイトな学生と面倒な教師のセマンティックなギャップを軽減するために,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成(BKR)を提案する。 具体的には,教師から多様な局所構造情報と一貫したグローバルな形状知識を継承するために,トップダウンの知識再構成とボトムアップの知識再構成を開発する。 しかし,ほとんどの点クラウドモデルにおける最遠点サンプリングにより,教師と生徒の中間的特徴が不整合となり,蒸留性能が低下する。 そこで本研究では,不整点雲間の距離を効果的に測定できる最適移動量に基づく特徴移動距離(fmd)損失を提案する。 形状分類,部分セグメンテーションおよび意味セグメンテーションベンチマークに関する広範な実験により,本手法の普遍性と優越性が示された。

関連論文リスト

• Point Cloud Understanding via Attention-Driven Contrastive Learning [64.65145700121442]
  トランスフォーマーベースのモデルは、自己認識機構を活用することにより、先進的なポイントクラウド理解を持つ。 PointACLは、これらの制限に対処するために設計された、注意駆動のコントラスト学習フレームワークである。 本手法では, 注意駆動型動的マスキング手法を用いて, モデルが非集中領域に集中するように誘導する。
  論文  参考訳（メタデータ） (2024-11-22T05:41:00Z)
• Unsupervised Non-Rigid Point Cloud Matching through Large Vision Models [1.3030624795284795]
  非剛点クラウドマッチングのための学習ベースのフレームワークを提案する。 重要な洞察は、大きな視覚モデル(LVM)から派生した意味的特徴を統合することである。 本フレームワークは,局所的な地形間の自己相似性から生じるあいまいさに対処するために,意味的特徴に含まれる構造情報を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-16T07:02:19Z)
• PointMoment:Mixed-Moment-based Self-Supervised Representation Learning for 3D Point Clouds [11.980787751027872]
  我々は,ポイントクラウドによる自己教師型表現学習のための新しいフレームワークであるPointMomentを提案する。 我々のフレームワークは、非対称ネットワークアーキテクチャや勾配停止など特別な技術を必要としない。
  論文  参考訳（メタデータ） (2023-12-06T08:49:55Z)
• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
  Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。 我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
  論文  参考訳（メタデータ） (2023-03-29T10:08:29Z)
• Distillation with Contrast is All You Need for Self-Supervised Point Cloud Representation Learning [53.90317574898643]
  本稿では,自己教師付きポイントクラウド表現学習のためのシンプルで汎用的なフレームワークを提案する。 人類が世界を理解する方法に触発されて、我々は知識蒸留を利用して、グローバルな形状情報と、グローバルな形状と局所的な構造の関係の両方を学ぶ。 本手法は,線形分類および複数の下流タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-02-09T02:51:59Z)
• DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation [45.768040873409824]
  DRINetは二重表現学習の基本的なネットワーク構造として機能する。 我々のネットワークは、ポイントクラウド分類とセグメンテーションタスクの最先端の結果を達成する。 大規模屋外シナリオでは,提案手法はフレーム当たり62msのリアルタイム推論速度で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2021-08-09T13:23:54Z)
• Point Discriminative Learning for Unsupervised Representation Learning on 3D Point Clouds [54.31515001741987]
  3次元点雲上での教師なし表現学習のための点識別学習法を提案する。 我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。 提案手法は強力な表現を学習し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-04T15:11:48Z)
• Airborne LiDAR Point Cloud Classification with Graph Attention Convolution Neural Network [5.69168146446103]
  本稿では,空飛ぶLiDARにより得られる非構造化3次元点雲の分類に直接適用可能なグラフ注意畳み込みニューラルネットワーク(GACNN)を提案する。 提案するグラフアテンション・コンボリューション・モジュールに基づいて,GACNNと呼ばれるエンド・ツー・エンドのエンコーダ・デコーダネットワークを設計し,ポイント・クラウドのマルチスケールな特徴を捉える。 ISPRS 3Dラベリングデータセットの実験では、提案モデルが平均F1スコア(71.5%)と全精度(83.2%)で新しい最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2020-04-20T05:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。