Fugu-MT 論文翻訳(概要): Sampling to Distill: Knowledge Transfer from Open-World Data

論文の概要: Sampling to Distill: Knowledge Transfer from Open-World Data

arxiv url: http://arxiv.org/abs/2307.16601v1
Date: Mon, 31 Jul 2023 12:05:55 GMT
ステータス: 処理完了
システム内更新日: 2023-08-01 14:39:49.091510
Title: Sampling to Distill: Knowledge Transfer from Open-World Data
Title（参考訳）: Smpling to Distill: オープンワールドデータからの知識伝達
Authors: Yuzheng Wang, Zhaoyu Chen, Jie Zhang, Dingkang Yang, Zuhao Ge, Yang Liu, Siao Liu, Yunquan Sun, Wenqiang Zhang and Lizhe Qi
Abstract要約: DFKDは,教師ネットワークのみを用いた高性能学生モデルのトレーニングを,本来のトレーニングデータなしで行うことを目的としている。既存のDFKD法は計算コストの高い生成モジュールに大きく依存している。冗長な生成過程を伴わない新しいオープンワールドデータサンプリング蒸留法(ODSD)を提案する。
参考スコア（独自算出の注目度）: 16.01814950074894
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data-Free Knowledge Distillation (DFKD) is a novel task that aims to train high-performance student models using only the teacher network without original training data. Despite encouraging results, existing DFKD methods rely heavily on generation modules with high computational costs. Meanwhile, they ignore the fact that the generated and original data exist domain shifts due to the lack of supervision information. Moreover, knowledge is transferred through each example, ignoring the implicit relationship among multiple examples. To this end, we propose a novel Open-world Data Sampling Distillation (ODSD) method without a redundant generation process. First, we try to sample open-world data close to the original data's distribution by an adaptive sampling module. Then, we introduce a low-noise representation to alleviate the domain shifts and build a structured relationship of multiple data examples to exploit data knowledge. Extensive experiments on CIFAR-10, CIFAR-100, NYUv2, and ImageNet show that our ODSD method achieves state-of-the-art performance. Especially, we improve 1.50\%-9.59\% accuracy on the ImageNet dataset compared with the existing results.
Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は,教師ネットワークのみを用いた高性能な学生モデルの学習を目的とした新しい課題である。しかし、既存のDFKD法は計算コストの高い生成モジュールに大きく依存している。一方、彼らは、生成したデータと元のデータが、監督情報の欠如によってドメインシフトが存在するという事実を無視している。さらに、複数の例間の暗黙の関係を無視して、各例を通して知識が伝達される。そこで本研究では,冗長な生成過程を伴わない新しいオープンワールドデータサンプリング蒸留(odsd)法を提案する。まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。次に、ドメインシフトを緩和し、データ知識を利用する複数のデータ例の構造化関係を構築するために、低雑音表現を導入する。 CIFAR-10, CIFAR-100, NYUv2, ImageNetの大規模実験により, ODSD法が最先端性能を実現することを示す。特に、既存の結果と比較してimagenetデータセットの1.50\%-9.59\%精度が向上した。

関連論文リスト

Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
論文参考訳（メタデータ） (2024-10-23T07:01:16Z)
De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
論文参考訳（メタデータ） (2024-03-28T16:13:22Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
論文参考訳（メタデータ） (2023-12-03T23:30:48Z)
Lightweight Self-Knowledge Distillation with Multi-source Information Fusion [3.107478665474057]
知識蒸留(KD)は、ニューラルネットワークモデル間で知識を伝達する強力な技術である。マルチソース情報を利用してより情報のある教師を構築する軽量なSKDフレームワークを提案する。提案するDRG, DSR, およびそれらの組み合わせの性能を, 各種データセットおよびモデルに関する総合的な実験により検証する。
論文参考訳（メタデータ） (2023-05-16T05:46:31Z)
Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
論文参考訳（メタデータ） (2022-05-16T08:56:53Z)
Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
論文参考訳（メタデータ） (2021-12-12T14:56:58Z)
Dual Discriminator Adversarial Distillation for Data-free Model Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文参考訳（メタデータ） (2021-04-12T12:01:45Z)
Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
論文参考訳（メタデータ） (2021-01-20T13:07:39Z)
Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文参考訳（メタデータ） (2020-05-18T09:36:51Z)
DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。