論文の概要: Sampling to Distill: Knowledge Transfer from Open-World Data

• arxiv url: http://arxiv.org/abs/2307.16601v2
• Date: Sun, 21 Jul 2024 14:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:46:42.594420
• Title: Sampling to Distill: Knowledge Transfer from Open-World Data
• Title（参考訳）: Smpling to Distill: オープンワールドデータからの知識伝達
• Authors: Yuzheng Wang, Zhaoyu Chen, Jie Zhang, Dingkang Yang, Zuhao Ge, Yang Liu, Siao Liu, Yunquan Sun, Wenqiang Zhang, Lizhe Qi,
• Abstract要約: 冗長な生成過程を伴わずにデータ自由知識蒸留(DFKD)タスクのための新しいオープンワールドデータサンプリング蒸留(ODSD)手法を提案する。 まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。 そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。
• 参考スコア（独自算出の注目度）: 28.74835717488114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-Free Knowledge Distillation (DFKD) is a novel task that aims to train high-performance student models using only the pre-trained teacher network without original training data. Most of the existing DFKD methods rely heavily on additional generation modules to synthesize the substitution data resulting in high computational costs and ignoring the massive amounts of easily accessible, low-cost, unlabeled open-world data. Meanwhile, existing methods ignore the domain shift issue between the substitution data and the original data, resulting in knowledge from teachers not always trustworthy and structured knowledge from data becoming a crucial supplement. To tackle the issue, we propose a novel Open-world Data Sampling Distillation (ODSD) method for the DFKD task without the redundant generation process. First, we try to sample open-world data close to the original data's distribution by an adaptive sampling module and introduce a low-noise representation to alleviate the domain shift issue. Then, we build structured relationships of multiple data examples to exploit data knowledge through the student model itself and the teacher's structured representation. Extensive experiments on CIFAR-10, CIFAR-100, NYUv2, and ImageNet show that our ODSD method achieves state-of-the-art performance with lower FLOPs and parameters. Especially, we improve 1.50\%-9.59\% accuracy on the ImageNet dataset and avoid training the separate generator for each class.
• Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は,教師ネットワークのみを用いて,学習データなしで高性能な生徒モデルを訓練することを目的とした新しい課題である。 既存のDFKD法の多くは、置換データを合成するために追加の生成モジュールに大きく依存しており、計算コストが高く、容易にアクセスでき、低コストで、ラベル付けされていないオープンワールドデータを無視している。 一方、既存の手法では、置換データと元のデータとの間のドメインシフトの問題を無視しており、教師の知識は必ずしも信頼に値するものではなく、データから構造化された知識が重要なサプリメントとなる。 そこで本研究では,DFKDタスクの冗長な生成処理を伴わずに,新しいオープンワールドデータサンプリング蒸留法を提案する。 まず、適応サンプリングモジュールを用いて、元のデータの分布に近いオープンワールドデータをサンプリングし、ドメインシフト問題を緩和するために低ノイズ表現を導入する。 そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。 CIFAR-10, CIFAR-100, NYUv2, ImageNetの広範囲な実験により, ODSD法は, FLOPとパラメータの低い最先端性能を実現することが示された。 特に、ImageNetデータセットの1.50\%-9.59\%の精度を改善し、各クラスの別々のジェネレータのトレーニングを避ける。

関連論文リスト

• Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
  データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。 本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-10-23T07:01:16Z)
• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Lightweight Self-Knowledge Distillation with Multi-source Information Fusion [3.107478665474057]
  知識蒸留(KD)は、ニューラルネットワークモデル間で知識を伝達する強力な技術である。 マルチソース情報を利用してより情報のある教師を構築する軽量なSKDフレームワークを提案する。 提案するDRG, DSR, およびそれらの組み合わせの性能を, 各種データセットおよびモデルに関する総合的な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-16T05:46:31Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
  我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。 データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-12T14:56:58Z)
• Dual Discriminator Adversarial Distillation for Data-free Model Compression [36.49964835173507]
  我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。 具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。 提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
  論文  参考訳（メタデータ） (2021-04-12T12:01:45Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。