Fugu-MT 論文翻訳(概要): Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

論文の概要: Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

arxiv url: http://arxiv.org/abs/2606.25278v1
Date: Wed, 24 Jun 2026 01:31:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.184102
Title: Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation
Title（参考訳）: 3次元セマンティック・セマンティック・セグメンテーションにおける不均一および適応的スナップショット蒸留法
Abstract要約: マルチモーダル融合とマルチモデルアンサンブルは3次元セマンティックセグメンテーションの性能向上に有効である。本稿では,マルチモーダルモデル(すなわち点雲と画像)と複数のモデルエキスパートから,知識蒸留を通じてポイントクラウドベースのネットワークにリッチな知識を移行することを提案する。 Heterogeneous and Adept Snapshot Knowledge Distillationは、HAS-KDと呼ばれ、ScanNetV2とS3DISデータセットの最先端の結果を得る。
参考スコア（独自算出の注目度）: 71.94615164565589
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-modal fusion and multi-model ensembling are prevalent in enhancing the performance of 3D semantic segmentation. Despite the impressive performance, these methods either rely on auxiliary input signals or suffer from costly computational expense. To efficaciously enhance the segmentation performance without introducing intolerable costs, we propose to transfer the rich knowledge from the multi-modal model (i.e., point clouds and images) and multiple model experts to the point-cloudbased network through knowledge distillation. Specifically, we present Information-oriented Heterogeneous Distillation (IHD) to help the uni-modal model absorb the complementary knowledge from the multi-modal teacher. We design the Information-Oriented Filtering (IOF) strategy to select informative images from the continuous image sequence for multi-modal fusion. This practice can boost the performance of the multi-modal teacher, thus benefiting the learning of the student. Besides, as opposed to vanilla model ensembling that requires the separate training of each expert, we propose Adept Snapshot Distillation (ASD). ASD treats the freely available model snapshots generated during the training phase as multiple experts, which significantly reduces the training cost for model ensembling. For each expert teacher, it only provides supervision to the student in the class where it is adept. The resulting Heterogeneous and Adept Snapshot Knowledge Distillation, dubbed HAS-KD, attains state-of-the-art results on ScanNetV2 and S3DIS datasets. HAS-KD can be seamlessly integrated into contemporary 3D segmentation algorithms and bring considerable gains without introducing extra inference burdens. The code will be made publicly available upon publication.
Abstract（参考訳）: マルチモーダル融合とマルチモデルアンサンブルは,3次元セマンティックセグメンテーションの性能向上に有効である。優れた性能にもかかわらず、これらの手法は補助的な入力信号に依存するか、コストのかかる計算コストに悩まされる。本稿では,多モードモデル(点雲や画像など)と複数のモデルエキスパートから,知識蒸留を通じてポイントクラウドネットワークへリッチな知識を伝達することを提案する。具体的には,情報指向不均質蒸留(IHD)を提案し,一様モデルが多様教師からの相補的知識を吸収するのを支援する。我々は,情報指向フィルタリング (IOF) 戦略を設計し,マルチモーダル融合のための連続画像列から情報的画像を選択する。このプラクティスは、マルチモーダル教師のパフォーマンスを高め、生徒の学習に役立てることができる。また、各専門家の個別の訓練を必要とするバニラモデルアンサンブルとは対照的に、アデプトスナップショット蒸留(ASD)を提案する。 ASDは、トレーニングフェーズ中に生成された無償のモデルスナップショットを、複数の専門家として扱うことで、モデルアンサンブルのトレーニングコストを大幅に削減する。各専門家の教師は、その授業が受講しているクラスの生徒にしか監督を提供しない。 Heterogeneous and Adept Snapshot Knowledge Distillationは、HAS-KDと呼ばれ、ScanNetV2とS3DISデータセットの最先端の結果を得る。 HAS-KDは、現代の3Dセグメンテーションアルゴリズムにシームレスに統合することができ、余分な推論負荷を伴わずにかなりの利得を得ることができる。コードは公開時に公開される。

関連論文リスト

Multimodal Robust Prompt Distillation for 3D Point Cloud Models [16.319048523015773]
アドリアックは、学習ベースの3Dポイントクラウドモデルに重大な脅威をもたらす。頑健な3次元点雲を蒸留するためのMRPD (Multimodal Robust Prompt Distillation) を提案する。学生ポイントクラウドモデルの機能を、3つの異なる教師の堅牢な埋め込みと整合させることで、軽量なプロンプトを学ぶ。
論文参考訳（メタデータ） (2025-11-26T16:49:38Z)
Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2025-04-19T14:08:56Z)
Reinforced Multi-teacher Knowledge Distillation for Efficient General Image Forgery Detection and Localization [9.721443347546876]
画像偽造検出・局所化(IFDL)は、偽造画像が私たちの日常生活に潜在的な脅威をもたらす誤報を拡散する可能性があるため、極めて重要である。以前の方法は、現実世界のシナリオで様々な偽造操作で処理された偽造画像を効果的に扱うのに苦労していた。本稿では,エンコーダ-デコーダtextbfConvNeXt-textbfUperNetを中心に構築されたIFDLタスクのためのReinforced Multi-Teacher Knowledge Distillation (Re-MTKD)フレームワークを提案する。
論文参考訳（メタデータ） (2025-04-07T16:12:05Z)
Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations? [55.99654128127689]
クロスモーダル・コントラスト蒸留は近年,有効3次元表現の学習のために研究されている。既存の手法は主にモーダリティ共有の特徴に焦点を合わせ、事前学習過程におけるモーダリティ固有の特徴を無視している。本稿では,これらの欠点に対処する新しいフレームワークCMCRを提案する。
論文参考訳（メタデータ） (2024-12-12T06:09:49Z)
Leveraging Vision-Centric Multi-Modal Expertise for 3D Object Detection [66.74183705987276]
本稿では, 見習いにやさしいマルチモーダル専門家と時間融合にやさしい蒸留監督を含む,カメラオンリーの見習いモデルを改善するための枠組みを提案する。これらの改善により、我々のカメラオンリーの見習いVCD-Aは、63.1%のNDSスコアでnuScenesに新しい最先端技術を設定する。
論文参考訳（メタデータ） (2023-10-24T09:29:26Z)
BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-08T20:30:55Z)
SimDistill: Simulated Multi-modal Distillation for BEV 3D Object Detection [56.24700754048067]
多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
論文参考訳（メタデータ） (2023-03-29T16:08:59Z)
Online Knowledge Distillation via Multi-branch Diversity Enhancement [15.523646047674717]
複数の学生モデル間の多様性を高めるため,新しい蒸留法を提案する。ネットワークにおけるアテンション機構の性能を向上させる機能融合モジュール(FFM)を用いる。また,学生モデルの違いを強化するために,多変量化(CD)損失関数を用いた。
論文参考訳（メタデータ） (2020-10-02T05:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。