論文の概要: Feature Adversarial Distillation for Point Cloud Classification

• arxiv url: http://arxiv.org/abs/2306.14221v2
• Date: Tue, 27 Jun 2023 09:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 10:19:47.113868
• Title: Feature Adversarial Distillation for Point Cloud Classification
• Title（参考訳）: 点雲分類のための相反蒸留
• Authors: YuXing Lee, Wei Wu
• Abstract要約: 本稿では, ポイントクラウド蒸留における汎用的対向損失関数であるFeature Adversarial Distillation (FAD)法を提案し, 知識伝達時の損失を低減する。 モデルNet40およびScanObjectNNデータセットの標準点クラウド分類実験において,40倍モデル圧縮における蒸留における知識伝達の情報損失を低減した。
• 参考スコア（独自算出の注目度）: 4.8229512034776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the point cloud's irregular and unordered geometry structure, conventional knowledge distillation technology lost a lot of information when directly used on point cloud tasks. In this paper, we propose Feature Adversarial Distillation (FAD) method, a generic adversarial loss function in point cloud distillation, to reduce loss during knowledge transfer. In the feature extraction stage, the features extracted by the teacher are used as the discriminator, and the students continuously generate new features in the training stage. The feature of the student is obtained by attacking the feedback from the teacher and getting a score to judge whether the student has learned the knowledge well or not. In experiments on standard point cloud classification on ModelNet40 and ScanObjectNN datasets, our method reduced the information loss of knowledge transfer in distillation in 40x model compression while maintaining competitive performance.
• Abstract（参考訳）: 点雲の不規則で秩序のない幾何学構造のため、従来の知識蒸留技術は点雲のタスクで直接使われると多くの情報を失った。 本稿では, ポイントクラウド蒸留における一般対向損失関数であるFeature Adversarial Distillation (FAD)法を提案し, 知識伝達時の損失を低減する。 特徴抽出段階では、教師が抽出した特徴を判別器として使用し、生徒は訓練段階において新たな特徴を継続的に生成する。 生徒の特徴は、教師からのフィードバックを攻撃して、生徒が知識をよく学んだかどうかを判断するスコアを得ることによって得られる。 モデルNet40およびScanObjectNNデータセットの標準点クラウド分類実験において,40倍モデル圧縮における蒸留における知識伝達の情報損失を低減し,競争性能を維持した。

関連論文リスト

• PointMoment:Mixed-Moment-based Self-Supervised Representation Learning for 3D Point Clouds [11.980787751027872]
  我々は,ポイントクラウドによる自己教師型表現学習のための新しいフレームワークであるPointMomentを提案する。 我々のフレームワークは、非対称ネットワークアーキテクチャや勾配停止など特別な技術を必要としない。
  論文  参考訳（メタデータ） (2023-12-06T08:49:55Z)
• Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud Analysis [74.00441177577295]
  ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。 本稿では,軽量点雲モデルのための特徴蒸留について検討する。 本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
  論文  参考訳（メタデータ） (2023-10-08T11:32:50Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• PointCaM: Cut-and-Mix for Open-Set Point Cloud Learning [72.07350827773442]
  我々は,新しいポイントカット・アンド・ミクス機構を用いて,オープンセットのクラウド学習を解決することを提案する。 トレーニング段階では,Unknown-Point Simulatorを用いてアウト・オブ・ディストリビューションデータをシミュレートする。 Unknown-Point Estimatorモジュールは、既知のデータを識別するために、ポイントクラウドの機能コンテキストを活用することを学ぶ。
  論文  参考訳（メタデータ） (2022-12-05T03:53:51Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
  正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。 提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
  論文  参考訳（メタデータ） (2022-07-12T01:54:25Z)
• Contrastive Supervised Distillation for Continual Representation Learning [18.864301420659217]
  ニューラルネットワークモデルは、視覚検索タスクにおける破滅的な忘れを緩和するために順次学習される。 Contrastive Supervised Distillation (CSD) と呼ばれる本手法は, 識別的特徴を学習しながら, 特徴忘れを減らす。
  論文  参考訳（メタデータ） (2022-05-11T13:20:47Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。