論文の概要: MixSKD: Self-Knowledge Distillation from Mixup for Image Recognition

• arxiv url: http://arxiv.org/abs/2208.05768v1
• Date: Thu, 11 Aug 2022 11:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 13:17:34.653740
• Title: MixSKD: Self-Knowledge Distillation from Mixup for Image Recognition
• Title（参考訳）: MixSKD:画像認識のためのMixupからの自己知識蒸留
• Authors: Chuanguang Yang, Zhulin An, Helong Zhou, Linhang Cai, Xiang Zhi, Jiwen Wu, Yongjun Xu, Qian Zhang
• Abstract要約: 本稿では、画像混合(MixSKD)から自己KDを実行することを提案する。 MixSKDは、乱数対の原画像とそれらの混合画像との間の特徴写像と確率分布を有意に蒸留する。 画像分類とオブジェクト検出とセマンティックセグメンテーションへの変換学習の実験は、MixSKDが他の最先端のSelf-KDおよびデータ拡張手法よりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 12.226402626035632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike the conventional Knowledge Distillation (KD), Self-KD allows a network to learn knowledge from itself without any guidance from extra networks. This paper proposes to perform Self-KD from image Mixture (MixSKD), which integrates these two techniques into a unified framework. MixSKD mutually distills feature maps and probability distributions between the random pair of original images and their mixup images in a meaningful way. Therefore, it guides the network to learn cross-image knowledge by modelling supervisory signals from mixup images. Moreover, we construct a self-teacher network by aggregating multi-stage feature maps for providing soft labels to supervise the backbone classifier, further improving the efficacy of self-boosting. Experiments on image classification and transfer learning to object detection and semantic segmentation demonstrate that MixSKD outperforms other state-of-the-art Self-KD and data augmentation methods. The code is available at https://github.com/winycg/Self-KD-Lib.
• Abstract（参考訳）: 従来の知識蒸留(KD)とは異なり、Self-KDはネットワークが余分なネットワークからのガイダンスなしで知識を学習することを可能にする。 本稿では,これら2つの手法を統合フレームワークに統合した画像混合(MixSKD)から自己KDを実行することを提案する。 MixSKDは、乱数対の原画像とそれらの混合画像との間の特徴写像と確率分布を有意に蒸留する。 そこで,混合画像からの監視信号のモデル化により,画像間知識の学習をネットワークに誘導する。 さらに,多段階特徴マップを集約して,バックボーン分類器を監督するソフトラベルを提供し,さらに自己ブーストの有効性を高めることで,自己教師ネットワークを構築する。 画像分類とオブジェクト検出とセマンティックセグメンテーションへの変換学習の実験は、MixSKDが他の最先端のSelf-KDおよびデータ拡張手法よりも優れていることを示した。 コードはhttps://github.com/winycg/self-kd-libで入手できる。

関連論文リスト

• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
  潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。 提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
  論文  参考訳（メタデータ） (2023-11-30T15:06:10Z)
• EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification [1.1470070927586016]
  我々は、アンサンブルトレーニング可能なネットワークのブロックとして機能する自己アテンションベースの融合モジュールを設計する。 トレーニング段階を通して、画像とテキストの区別された特徴を同時に学習することができる。 文書画像分類を行うための自己注意に基づく融合モジュールとともに、相互学習アプローチを活用するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-11T16:05:03Z)
• Cross-Image Relational Knowledge Distillation for Semantic Segmentation [16.0341383592071]
  クロスイメージKD(CIRK)は、全画像間の構造化画素間および画素間関係の転送に焦点を当てている。 モチベーションは、優れた教師ネットワークが、グローバルなピクセル依存の観点から、よく構造化された特徴空間を構築することができることである。 CIRKにより、学生は教師とのより優れた構造的関係を模倣し、セグメンテーション性能を向上させる。
  論文  参考訳（メタデータ） (2022-04-14T14:24:19Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
  イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。 本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。 EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-24T08:48:16Z)
• ResMLP: Feedforward networks for image classification with data-efficient training [73.26364887378597]
  画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。 Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
  論文  参考訳（メタデータ） (2021-05-07T17:31:44Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation [12.097302014936655]
  本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。 提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。 様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-15T10:59:43Z)
• Learning to Focus: Cascaded Feature Matching Network for Few-shot Image Recognition [38.49419948988415]
  ディープネットワークは、多数の画像でトレーニングすることで、カテゴリのオブジェクトを正確に認識することを学ぶことができる。 低ショット画像認識タスク(low-shot image recognition task)として知られるメタラーニングの課題は、1つのカテゴリの認識モデルを学ぶためにアノテーション付き画像しか利用できない場合に発生する。 この問題を解決するため,Cascaded Feature Matching Network (CFMN) と呼ばれる手法を提案する。 EmphminiImageNet と Omniglot の2つの標準データセットを用いた数ショット学習実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。