論文の概要: Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2407.13254v1
• Date: Thu, 18 Jul 2024 08:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 16:22:32.135222
• Title: Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation
• Title（参考訳）: ラベル支援を強くする : セマンティックセグメンテーションのための新しい知識蒸留手法
• Authors: Shoumeng Qiu, Jie Chen, Xinrun Li, Ru Wan, Xiangyang Xue, Jian Pu,
• Abstract要約: セマンティックセグメンテーションタスクのための新しい知識蒸留手法を提案する。 教師モデルトレーニングでは,ラベルをノイズにし,それをインプットに組み込み,軽量教師のパフォーマンスを効果的に向上させることを提案する。 本手法は,知識蒸留の有効性を高めるだけでなく,教師モデルや学生モデルを選択する際の柔軟性も向上させる。
• 参考スコア（独自算出の注目度）: 40.80204896051931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a novel knowledge distillation approach for the semantic segmentation task. Unlike previous methods that rely on power-trained teachers or other modalities to provide additional knowledge, our approach does not require complex teacher models or information from extra sensors. Specifically, for the teacher model training, we propose to noise the label and then incorporate it into input to effectively boost the lightweight teacher performance. To ensure the robustness of the teacher model against the introduced noise, we propose a dual-path consistency training strategy featuring a distance loss between the outputs of two paths. For the student model training, we keep it consistent with the standard distillation for simplicity. Our approach not only boosts the efficacy of knowledge distillation but also increases the flexibility in selecting teacher and student models. To demonstrate the advantages of our Label Assisted Distillation (LAD) method, we conduct extensive experiments on five challenging datasets including Cityscapes, ADE20K, PASCAL-VOC, COCO-Stuff 10K, and COCO-Stuff 164K, five popular models: FCN, PSPNet, DeepLabV3, STDC, and OCRNet, and results show the effectiveness and generalization of our approach. We posit that incorporating labels into the input, as demonstrated in our work, will provide valuable insights into related fields. Code is available at https://github.com/skyshoumeng/Label_Assisted_Distillation.
• Abstract（参考訳）: 本稿では,セマンティックセグメンテーションタスクのための新しい知識蒸留手法を提案する。 パワートレーニングされた教師や他のモダリティに頼って追加知識を提供する従来の方法とは異なり、我々のアプローチでは複雑な教師モデルや追加センサーからの情報を必要としない。 具体的には、教師モデルトレーニングにおいて、ラベルをノイズにし、それを入力に組み込んで軽量教師のパフォーマンスを効果的に向上させることを提案する。 導入した騒音に対する教師モデルのロバスト性を確保するため、2つの経路の出力間の距離損失を特徴とする2経路整合性トレーニング戦略を提案する。 学生モデルトレーニングでは, 簡易化のための標準蒸留法と整合性を維持している。 本手法は,知識蒸留の有効性を高めるだけでなく,教師モデルや学生モデルを選択する際の柔軟性も向上させる。 LAD法の利点を実証するため,Cityscapes, ADE20K, PASCAL-VOC, COCO-Stuff 10K, COCO-Stuff 164K, FCN, PSPNet, DeepLabV3, STDC, OCRNetの5つの人気モデルについて, 実験を行った。 私たちの研究で示されているように、ラベルを入力に組み込むことで、関連する分野に関する貴重な洞察が得られます。 コードはhttps://github.com/skyshoumeng/Label_Assisted_Distillation.comで公開されている。

関連論文リスト

• ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation [3.301728339780329]
  本稿では,資源量の多い教師モデルを必要としない知識蒸留効率を向上させる革新的な手法を提案する。 そこで本研究では,ソフトラベルを効率的に生成する手法を提案し,大規模な教師モデルの必要性を排除した。 CIFAR-100、Tiny Imagenet、Fashion MNISTなど、さまざまなデータセットに関する実験は、我々のアプローチの優れたリソース効率を実証している。
  論文  参考訳（メタデータ） (2024-04-15T15:54:30Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Active Teacher for Semi-Supervised Object Detection [80.10937030195228]
  半教師対象検出(SSOD)のための能動教師と呼ばれる新しいアルゴリズムを提案する。 Active Teacherは、教師/学生のフレームワークを反復的なバージョンに拡張し、ラベルセットを部分的に段階的に拡張し、ラベルなし例の3つの重要な要素を評価する。 この設計により、Active Teacherは、擬似ラベルの品質を改善しながら、限られたラベル情報の効果を最大化することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:59:27Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Oracle Teacher: Leveraging Target Information for Better Knowledge Distillation of CTC Models [10.941519846908697]
  我々は、コネクショニスト時間分類(CTC)に基づくシーケンスモデル、すなわち、Oracle Teacherのための新しいタイプの教師モデルを導入する。 Oracle Teacherは、ターゲット情報を参照することによって、より正確なCTCアライメントを学ぶため、より最適なガイダンスを提供することができる。 CTCアルゴリズムの多対一マッピング特性に基づいて、自明な解を効果的に防止できるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:14:05Z)
• Progressive Network Grafting for Few-Shot Knowledge Distillation [60.38608462158474]
  本稿では, 数ショットデータに適した二段蒸留方式を提案する。 最初のステップでは、生徒のブロックを1つずつ教師に移植し、移植されたブロックのパラメータと他の教師ブロックのパラメータを学習します。 CIFAR10, CIFAR100, ILSVRC-2012で, わずか数サンプルで, 満足のいく結果が得られることを実証した。
  論文  参考訳（メタデータ） (2020-12-09T08:34:36Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。