論文の概要: De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts
- arxiv url: http://arxiv.org/abs/2403.19539v1
- Date: Thu, 28 Mar 2024 16:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:34:50.613596
- Title: De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts
- Title（参考訳）: 分散シフト処理のためのデータフリーな知識蒸留
- Authors: Yuzheng Wang, Dingkang Yang, Zhaoyu Chen, Yang Liu, Siao Liu, Wenqiang Zhang, Lihua Zhang, Lizhe Qi,
- Abstract要約: Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。
既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。
本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
- 参考スコア（独自算出の注目度）: 32.1016787150064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-Free Knowledge Distillation (DFKD) is a promising task to train high-performance small models to enhance actual deployment without relying on the original training data. Existing methods commonly avoid relying on private data by utilizing synthetic or sampled data. However, a long-overlooked issue is that the severe distribution shifts between their substitution and original data, which manifests as huge differences in the quality of images and class proportions. The harmful shifts are essentially the confounder that significantly causes performance bottlenecks. To tackle the issue, this paper proposes a novel perspective with causal inference to disentangle the student models from the impact of such shifts. By designing a customized causal graph, we first reveal the causalities among the variables in the DFKD task. Subsequently, we propose a Knowledge Distillation Causal Intervention (KDCI) framework based on the backdoor adjustment to de-confound the confounder. KDCI can be flexibly combined with most existing state-of-the-art baselines. Experiments in combination with six representative DFKD methods demonstrate the effectiveness of our KDCI, which can obviously help existing methods under almost all settings, \textit{e.g.}, improving the baseline by up to 15.54\% accuracy on the CIFAR-100 dataset.
- Abstract（参考訳）: Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。
既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。
しかし、長い間見過ごされてきた問題は、画像の質とクラス比の大きな違いを示す、置換と元のデータの間に深刻な分布変化が生じることである。
有害なシフトは、本質的には、パフォーマンスのボトルネックを著しく引き起こす共同創設者です。
この問題に対処するため,本論文では,学生モデルをこのような変化の影響から遠ざけるために,因果推論を用いた新たな視点を提案する。
カスタマイズされた因果グラフを設計することにより、DFKDタスクの変数間の因果関係を明らかにする。
続いて,共同創設者を非難するバックドア調整に基づく知識蒸留因果干渉(KDCI)フレームワークを提案する。
KDCIは、既存の最先端のベースラインと柔軟に組み合わせることができる。
CIFAR-100データセットのベースラインを最大15.54倍の精度で向上させるため、ほぼすべての設定で既存のメソッドである \textit{e g } を支援することができる。
関連論文リスト
- FedDW: Distilling Weights through Consistency Optimization in Heterogeneous Federated Learning [14.477559543490242]
Federated Learning(FL)は、データの集中化なしにデバイス間でのニューラルネットワークトレーニングを可能にする、革新的な分散機械学習パラダイムである。
従来の研究では、IID環境では、モデルのパラメータ構造が特定の一貫性の原則に従うことが期待されている。
本稿では,両者の整合性を識別し,FedDWフレームワークの基盤となるトレーニングの調整に活用する。
実験結果から,FedDWは10種類の最先端FL法より優れ,高度不均一条件下では平均3%精度が向上した。
論文 参考訳（メタデータ） (2024-12-05T12:32:40Z) - Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。
本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。
CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2024-10-23T07:01:16Z) - Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。
KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。
本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
論文 参考訳（メタデータ） (2024-08-25T14:43:27Z) - PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。
近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。
我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文 参考訳（メタデータ） (2024-06-09T07:29:55Z) - Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文 参考訳（メタデータ） (2023-11-23T11:34:48Z) - Sampling to Distill: Knowledge Transfer from Open-World Data [28.74835717488114]
冗長な生成過程を伴わずにデータ自由知識蒸留(DFKD)タスクのための新しいオープンワールドデータサンプリング蒸留(ODSD)手法を提案する。
まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。
そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。
論文 参考訳（メタデータ） (2023-07-31T12:05:55Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Prompting to Distill: Boosting Data-Free Knowledge Distillation via
Reinforced Prompt [52.6946016535059]
データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。
本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。
本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-05-16T08:56:53Z) - Federated Causal Discovery [74.37739054932733]
本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。
ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。
合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2021-12-07T08:04:12Z) - EvDistill: Asynchronous Events to End-task Learning via Bidirectional
Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。
本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。
EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-11-24T08:48:16Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。