論文の概要: Joint Learning for Scattered Point Cloud Understanding with Hierarchical Self-Distillation
- arxiv url: http://arxiv.org/abs/2312.16902v3
- Date: Wed, 26 Mar 2025 01:39:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 16:24:43.830988
- Title: Joint Learning for Scattered Point Cloud Understanding with Hierarchical Self-Distillation
- Title(参考訳): 階層型自己蒸留による散乱点雲理解のための共同学習
- Authors: Kaiyue Zhou, Ming Dong, Peiyuan Zhi, Shengjin Wang,
- Abstract要約: そこで本研究では,部分点雲を高速に補正し,同定するエンド・ツー・エンドアーキテクチャを提案する。
階層型自己蒸留(HSD)は任意の階層ベースのポイントクラウドメソッドに適用できる。
- 参考スコア(独自算出の注目度): 34.26170741722835
- License:
- Abstract: Numerous point-cloud understanding techniques focus on whole entities and have succeeded in obtaining satisfactory results and limited sparsity tolerance. However, these methods are generally sensitive to incomplete point clouds that are scanned with flaws or large gaps. In this paper, we propose an end-to-end architecture that compensates for and identifies partial point clouds on the fly. First, we propose a cascaded solution that integrates both the upstream masked autoencoder (MAE) and downstream understanding networks simultaneously, allowing the task-oriented downstream to identify the points generated by the completion-oriented upstream. These two streams complement each other, resulting in improved performance for both completion and downstream-dependent tasks. Second, to explicitly understand the predicted points' pattern, we introduce hierarchical self-distillation (HSD), which can be applied to any hierarchy-based point cloud methods. HSD ensures that the deepest classifier with a larger perceptual field of local kernels and longer code length provides additional regularization to intermediate ones rather than simply aggregating the multi-scale features, and therefore maximizing the mutual information (MI) between a teacher and students. The proposed HSD strategy is particularly well-suited for tasks involving scattered point clouds, wherein a singular prediction may yield imprecise outcomes due to the inherently irregular and sparse nature of the geometric shape being reconstructed. We show the advantage of the self-distillation process in the hyperspaces based on the information bottleneck principle. Our method achieves state-of-the-art on both classification and part segmentation tasks.
- Abstract(参考訳): 多くのポイントクラウド理解技術は、エンティティ全体に焦点を当て、満足な結果と限られた空間耐性を得ることに成功した。
しかし、これらの手法は一般に欠陥や大きなギャップでスキャンされる不完全点雲に敏感である。
本稿では,一斉に部分点雲を補正し,同定するエンド・ツー・エンドアーキテクチャを提案する。
まず,上流のマスク付きオートエンコーダ(MAE)と下流の理解ネットワークを同時に統合し,タスク指向のダウンストリームが完了指向のアップストリームで生成されたポイントを識別するカスケードソリューションを提案する。
これら2つのストリームは相互に補完し、コンプリートとダウンストリーム依存タスクの両方のパフォーマンスが改善される。
第2に,予測点パターンを明確に理解するために,階層型自己蒸留(HSD)を導入し,任意の階層型ポイントクラウド手法に適用する。
HSDは、ローカルカーネルの知覚領域が大きく、より長いコード長を持つ最も深い分類器が、単にマルチスケールの特徴を集約するのではなく、中間カーネルにさらなる正規化を提供し、したがって教師と学生間の相互情報(MI)を最大化する。
提案したHSD戦略は、特に散在する点雲を含むタスクに適しており、特異な予測は、幾何形状の本質的に不規則でスパースな性質が再構成されるため、不正確な結果をもたらす可能性がある。
情報ボトルネック原理に基づくハイパースペースにおける自己蒸留プロセスの利点を示す。
本手法は,分類タスクと部分分割タスクの両方において最先端の処理を実現する。
関連論文リスト
- Global Attention-Guided Dual-Domain Point Cloud Feature Learning for Classification and Segmentation [21.421806351869552]
上記の問題に対処するために,グローバルアテンション誘導型デュアルドメイン特徴学習ネットワーク(GAD)を提案する。
我々はまず,改良されたグローバルアテンション機構を備えたコンテキスト位置強調変換器(CPT)モジュールを考案した。
次に、デュアルドメインK-アレスト隣のフィーチャーフュージョン(DKFF)をカスケードして、効果的なフィーチャーアグリゲーションを行う。
論文 参考訳(メタデータ) (2024-07-12T05:19:19Z) - PointJEM: Self-supervised Point Cloud Understanding for Reducing Feature
Redundancy via Joint Entropy Maximization [10.53900407467811]
本稿では,ポイントクラウド分野に適用した自己教師付き表現学習手法であるPointJEMを提案する。
特徴の余分な情報を減らすために、PointJEMは異なる部分間の関節のエントロピーを最大化する。
PointJEMは、分類やセグメンテーションといった下流タスクにおける競合的なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-06T08:21:42Z) - Point Cloud Pre-training with Diffusion Models [62.12279263217138]
我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。
PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
論文 参考訳(メタデータ) (2023-11-25T08:10:05Z) - Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud
Analysis [74.00441177577295]
ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。
本稿では,軽量点雲モデルのための特徴蒸留について検討する。
本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
論文 参考訳(メタデータ) (2023-10-08T11:32:50Z) - A Deep Dive into Deep Cluster [0.2578242050187029]
DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。
本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
論文 参考訳(メタデータ) (2022-07-24T22:55:09Z) - Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。
本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
論文 参考訳(メタデータ) (2022-06-05T05:28:32Z) - Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit
Neural Representation [79.60988242843437]
そこで本研究では,自己監督型および倍率フレキシブルな点雲を同時にアップサンプリングする手法を提案する。
実験結果から, 自己教師あり学習に基づく手法は, 教師あり学習に基づく手法よりも, 競争力や性能が向上することが示された。
論文 参考訳(メタデータ) (2022-04-18T07:18:25Z) - Continual Coarse-to-Fine Domain Adaptation in Semantic Segmentation [22.366638308792734]
ディープニューラルネットワークは通常、特定のタスクとデータ分散のために、単一のショットでトレーニングされる。
実際の環境では、タスクとアプリケーションドメインの両方が変更される可能性がある。
本稿では,ドメインシフトが存在する場合のセマンティックセグメンテーションアーキテクチャの粗大な学習という新たな課題を紹介する。
論文 参考訳(メタデータ) (2022-01-18T13:31:19Z) - SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine
Reconstruction with Self-Projection Optimization [52.20602782690776]
実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。
本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。
本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
論文 参考訳(メタデータ) (2020-12-08T14:14:09Z) - Cascaded Refinement Network for Point Cloud Completion with
Self-supervision [74.80746431691938]
形状整形のための2分岐ネットワークを提案する。
第1分枝は、完全なオブジェクトを合成するためのカスケード形状補完サブネットワークである。
第2のブランチは、元の部分入力を再構築する自動エンコーダである。
論文 参考訳(メタデータ) (2020-10-17T04:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。