論文の概要: Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2504.07691v1
- Date: Thu, 10 Apr 2025 12:24:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:22:24.706413
- Title: Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
- Title（参考訳）: セマンティックセグメンテーションのための不均一なアーキテクチャからの知識の蒸留
- Authors: Yanglin Huang, Kai Hu, Yuan Zhang, Zhineng Chen, Xieping Gao,
- Abstract要約: ヘテロAKDという異種の観点から意味的セグメンテーションのための汎用知識蒸留法を初めて提案する。
建築特化情報の影響をなくすため、教師と生徒の中間的特徴を整列ロジット空間に巧みに投影する。
種々の教師と学生のペアを用いた3つのメインストリームベンチマーク実験により、ヘテロAKDは異種建築間の蒸留を促進するために最先端のKD法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 15.303408699671513
- License:
- Abstract: Current knowledge distillation (KD) methods for semantic segmentation focus on guiding the student to imitate the teacher's knowledge within homogeneous architectures. However, these methods overlook the diverse knowledge contained in architectures with different inductive biases, which is crucial for enabling the student to acquire a more precise and comprehensive understanding of the data during distillation. To this end, we propose for the first time a generic knowledge distillation method for semantic segmentation from a heterogeneous perspective, named HeteroAKD. Due to the substantial disparities between heterogeneous architectures, such as CNN and Transformer, directly transferring cross-architecture knowledge presents significant challenges. To eliminate the influence of architecture-specific information, the intermediate features of both the teacher and student are skillfully projected into an aligned logits space. Furthermore, to utilize diverse knowledge from heterogeneous architectures and deliver customized knowledge required by the student, a teacher-student knowledge mixing mechanism (KMM) and a teacher-student knowledge evaluation mechanism (KEM) are introduced. These mechanisms are performed by assessing the reliability and its discrepancy between heterogeneous teacher-student knowledge. Extensive experiments conducted on three main-stream benchmarks using various teacher-student pairs demonstrate that our HeteroAKD outperforms state-of-the-art KD methods in facilitating distillation between heterogeneous architectures.
- Abstract（参考訳）: セマンティックセグメンテーションのための現在の知識蒸留法(KD)は、同質建築における教師の知識を模倣するように学生に指導することに焦点を当てている。
しかし、これらの手法は、異なる帰納バイアスを持つアーキテクチャに含まれる多様な知識を見落としており、これは学生が蒸留中により正確で包括的なデータ理解を得るために重要である。
この目的のために,ヘテロAKDという異種視点から意味的セグメンテーションを行う汎用知識蒸留法を初めて提案する。
CNNやTransformerのような異種アーキテクチャの相違により、アーキテクチャ間の知識を直接転送することが大きな課題となる。
建築特化情報の影響をなくすため、教師と生徒の中間的特徴を整列ロジット空間に巧みに投影する。
さらに、異種建築からの多様な知識を活用し、学生が必要とするカスタマイズされた知識を提供するために、教師-学生知識混合機構(KMM)と教師-学生知識評価機構(KEM)を導入する。
これらのメカニズムは、異質な教師/学生の知識の信頼性と相違性を評価することで実現される。
種々の教師と学生のペアを用いた3つの主要ストリームのベンチマーク実験により、ヘテロAKDは異種建築間の蒸留を容易にする最先端のKD法より優れていることが示された。
関連論文リスト
- Feature-based One-For-All: A Universal Framework for Heterogeneous Knowledge Distillation [28.722795943076306]
知識蒸留(KD)は、事前訓練された重教師モデルからより軽い学生モデルに知識を移す。
多様なアーキテクチャにまたがる機能蒸留を可能にする機能ベースの1-for-all(FOFA)KDフレームワークを提案する。
まず、学生のフィードバックを取り入れたプロンプトチューニングブロックを設計し、教師が生徒モデルの学習プロセスに適応できるようにする。
論文 参考訳（メタデータ） (2025-01-15T15:56:06Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳（メタデータ） (2023-10-30T11:13:02Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Leveraging Different Learning Styles for Improved Knowledge Distillation
in Biomedical Imaging [0.9208007322096533]
我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。
我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。
教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
論文 参考訳（メタデータ） (2022-12-06T12:40:45Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。
複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。
4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2021-01-21T07:17:04Z) - Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。
提案手法は,本論文で提示された従来手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-05T00:49:14Z) - Multi-level Knowledge Distillation [13.71183256776644]
教師から学生ネットワークへより豊かな表現的知識を伝達するために,MLKD(Multi-level Knowledge Distillation)を導入する。
MLKDは、個人類似性、関係類似性、カテゴリー類似性という3つの新しい教師-学生類似性を採用している。
実験により、MLKDは同様のアーキテクチャタスクとクロスアーキテクチャタスクの両方において、他の最先端メソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-12-01T15:27:15Z) - Knowledge Distillation Beyond Model Compression [13.041607703862724]
知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。
本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
論文 参考訳（メタデータ） (2020-07-03T19:54:04Z) - Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。
一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。
これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文 参考訳（メタデータ） (2020-06-12T12:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。