論文の概要: Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation

• arxiv url: http://arxiv.org/abs/2411.17046v1
• Date: Tue, 26 Nov 2024 02:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:18.750510
• Title: Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation
• Title（参考訳）: マルチリゾリューションデータ生成による画像ネットの大規模データフリー知識蒸留
• Authors: Minh-Tuan Tran, Trung Le, Xuan-May Le, Jianfei Cai, Mehrtash Harandi, Dinh Phung,
• Abstract要約: Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。 従来のアプローチでは、実際の画像の情報を活用することなく、高解像度で合成画像を生成してきた。 MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。
• 参考スコア（独自算出の注目度）: 53.95204595640208
• License:
• Abstract: Data-Free Knowledge Distillation (DFKD) is an advanced technique that enables knowledge transfer from a teacher model to a student model without relying on original training data. While DFKD methods have achieved success on smaller datasets like CIFAR10 and CIFAR100, they encounter challenges on larger, high-resolution datasets such as ImageNet. A primary issue with previous approaches is their generation of synthetic images at high resolutions (e.g., $224 \times 224$) without leveraging information from real images, often resulting in noisy images that lack essential class-specific features in large datasets. Additionally, the computational cost of generating the extensive data needed for effective knowledge transfer can be prohibitive. In this paper, we introduce MUlti-reSolution data-freE (MUSE) to address these limitations. MUSE generates images at lower resolutions while using Class Activation Maps (CAMs) to ensure that the generated images retain critical, class-specific features. To further enhance model diversity, we propose multi-resolution generation and embedding diversity techniques that strengthen latent space representations, leading to significant performance improvements. Experimental results demonstrate that MUSE achieves state-of-the-art performance across both small- and large-scale datasets, with notable performance gains of up to two digits in nearly all ImageNet and subset experiments. Code is available at https://github.com/tmtuan1307/muse.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。 DFKDメソッドはCIFAR10やCIFAR100のような小さなデータセットで成功したが、ImageNetのような大規模で高解像度なデータセットでは課題に直面している。 従来のアプローチの主な問題は、実際の画像からの情報を活用することなく、高解像度の合成画像(例:224ドル)を生成することである。 また、効果的な知識伝達に必要な膨大なデータを生成する計算コストは禁じることができる。 本稿では,これらの制約に対処するためにMUlti-resolution data-freE (MUSE)を提案する。 MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。 モデル多様性をさらに高めるために、潜在空間表現を強化する多分解能生成および埋め込み多様性技術を提案し、性能を著しく向上させた。 実験結果から、MUSEは、小規模および大規模両方のデータセットで最先端のパフォーマンスを実現しており、ほぼすべてのImageNetおよびサブセット実験において、最大2桁のパフォーマンス向上が顕著であることがわかった。 コードはhttps://github.com/tmtuan1307/museで入手できる。

関連論文リスト

• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• Recurrent Multi-scale Transformer for High-Resolution Salient Object Detection [68.65338791283298]
  Salient Object Detection (SOD) は、画像やビデオの中で最も顕著なオブジェクトを識別し、セグメント化することを目的としている。 従来のSOD法は主に解像度の低い画像に限られており、高分解能SODの開発に適応することが困難である。 本研究ではまず,2K-8K解像度で10,500個の高品質なアノテート画像を含む新しいHRS10Kデータセットを提案する。
  論文  参考訳（メタデータ） (2023-08-07T17:49:04Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Few-Shot Learning for Image Classification of Common Flora [0.0]
  MAML(Model-Agnostic Meta Learning)を用いた画像分類のためのメタラーニング分野の最先端の研究と、さまざまな最先端のトランスファーラーニングウェイトとアーキテクチャをテストした結果を紹介します。 その結果、データセットが十分に大きい場合、両方のプラクティスが十分なパフォーマンスを提供しますが、十分なパフォーマンスを維持するためにデータスパーシャビリティが導入されると、どちらも苦労しています。
  論文  参考訳（メタデータ） (2021-05-07T03:54:51Z)
• Multiclass non-Adversarial Image Synthesis, with Application to Classification from Very Small Sample [6.243995448840211]
  我々は、新しい非逆生成法 - LA(Clustered Optimization of LAtent space)を提案する。 本手法は,全データレギュレーションにおいて,教師なしの多様なマルチクラス画像を生成することができる。 ラベル付き画像の小さなサンプルのみが、追加のラベル付きデータにアクセスせずにトレーニングできる小データ体制では、同じ量のデータでトレーニングされた最先端のGANモデルを上回る結果が得られる。
  論文  参考訳（メタデータ） (2020-11-25T18:47:27Z)
• Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization [25.805568996596783]
  減量子化は、高ビット深度画面に表示するための低ビット深度画像の視覚的品質を改善することができる。 本稿では,画像強度分解能の超解像を実現するためのDAGANアルゴリズムを提案する。 DenseResAttモジュールは、自己保持機構を備えた密集した残留ブロックで構成されている。
  論文  参考訳（メタデータ） (2020-04-07T06:45:01Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。