論文の概要: I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2403.18490v1
• Date: Wed, 27 Mar 2024 12:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 17:08:03.960542
• Title: I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation
• Title（参考訳）: I2CKD : セマンティックセグメンテーションのためのクラス内およびクラス間知識蒸留
• Authors: Ayoub Karine, Thibault Napoléon, Maher Jridi,
• Abstract要約: 本稿では,イメージセマンティックセグメンテーションに適した新しい知識蒸留法を提案する。 本手法の焦点は,教師(面倒なモデル)と生徒(コンパクトモデル)の中間層間の知識の獲得と伝達である。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a new knowledge distillation method tailored for image semantic segmentation, termed Intra- and Inter-Class Knowledge Distillation (I2CKD). The focus of this method is on capturing and transferring knowledge between the intermediate layers of teacher (cumbersome model) and student (compact model). For knowledge extraction, we exploit class prototypes derived from feature maps. To facilitate knowledge transfer, we employ a triplet loss in order to minimize intra-class variances and maximize inter-class variances between teacher and student prototypes. Consequently, I2CKD enables the student to better mimic the feature representation of the teacher for each class, thereby enhancing the segmentation performance of the compact network. Extensive experiments on three segmentation datasets, i.e., Cityscapes, Pascal VOC and CamVid, using various teacher-student network pairs demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 本稿では,イメージセマンティックセグメンテーションに適した新しい知識蒸留法を提案する。 本手法の焦点は,教師層(面倒なモデル)と生徒層(コンパクトモデル)の中間層間の知識の獲得と伝達である。 知識抽出には特徴写像から派生したクラスプロトタイプを利用する。 知識伝達を容易にするため,クラス内分散を最小化し,教師と学生のプロトタイプ間のクラス間分散を最大化するために,三重項損失を用いる。 その結果、I2CKDにより、生徒は各クラスの教師の特徴表現をよりよく模倣することができ、コンパクトネットワークのセグメンテーション性能を向上させることができる。 教師と学生のネットワークペアを用いた3つのセグメンテーションデータセット(Cityscapes, Pascal VOC, CamVid)の大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• Attention-guided Feature Distillation for Semantic Segmentation [8.344263189293578]
  本稿では,改良された特徴写像を用いて注目を伝達するための簡易かつ強力な手法の有効性を示す。 提案手法は, セマンティックセグメンテーションにおける既存手法を高密度な予測課題として優れ, リッチな情報の蒸留に有効であることが証明された。
  論文  参考訳（メタデータ） (2024-03-08T16:57:47Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation [16.957139277317005]
  Af-DCD(Augmentation-free Dense Contrastive Knowledge Distillation)は、新しいコントラスト蒸留学習パラダイムである。 Af-DCDはセマンティックセグメンテーションのためのコンパクトで正確なディープニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-12-07T09:37:28Z)
• Distilling Efficient Vision Transformers from CNNs for Semantic Segmentation [12.177329445930276]
  我々はC2VKDと呼ばれる新しいCNN-to-ViT KDフレームワークを提案する。 まず視覚的特徴蒸留(VLFD)モジュールを提案する。 そこで我々は,ラベルと教師の予測とを併用して学生を監督する,画素ワイド・デカップリング蒸留(PDD)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:45:37Z)
• AICSD: Adaptive Inter-Class Similarity Distillation for Semantic Segmentation [12.92102548320001]
  本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。 提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。 セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2023-08-08T13:17:20Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Contrastive Distillation on Intermediate Representations for Language Model Compression [89.31786191358802]
  本稿では,中間表現に関するコントラスト蒸留(Contrastive Distillation on Intermediate Representation, CoDIR)について, 基本知識蒸留フレームワークとして提案する。 ポジティブなサンプルと大量のネガティブなサンプルを区別することを学ぶことで、CoDIRは教師の隠れた層におけるリッチな情報の利用を促進する。 CoDIRは、事前学習と微調整の両方の段階で大規模言語モデルに容易に適用でき、GLUEベンチマークで最高性能を達成できる。
  論文  参考訳（メタデータ） (2020-09-29T17:31:43Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。