Fugu-MT 論文翻訳(概要): Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation

論文の概要: Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation

arxiv url: http://arxiv.org/abs/2506.02294v1
Date: Mon, 02 Jun 2025 22:15:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:35.101827
Title: Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation
Title（参考訳）: 信頼誘導データ拡張による未知の共変量シフトによる知識蒸留の改善
Authors: Niclas Popp, Kevin Alexander Laube, Matthias Hein, Lukas Schott,
Abstract要約: 知識の蒸留は基礎モデルから小規模の学生ネットワークへ知識を伝達するための確立されたツールとなりましたこの研究は、知識蒸留における共変量シフトの一般的な実践的問題に対処する。本稿では,教師と生徒の意見の不一致を最大化して画像を生成する,拡散型データ拡張戦略を提案する。実験の結果,CelebAとSpuCo Birdsでは,最悪のグループと平均グループ精度が有意に向上し,ImageNetでは刺激的なmAUCが得られた。
参考スコア（独自算出の注目度）: 29.552309706623138
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Large foundation models trained on extensive datasets demonstrate strong zero-shot capabilities in various domains. To replicate their success when data and model size are constrained, knowledge distillation has become an established tool for transferring knowledge from foundation models to small student networks. However, the effectiveness of distillation is critically limited by the available training data. This work addresses the common practical issue of covariate shift in knowledge distillation, where spurious features appear during training but not at test time. We ask the question: when these spurious features are unknown, yet a robust teacher is available, is it possible for a student to also become robust to them? We address this problem by introducing a novel diffusion-based data augmentation strategy that generates images by maximizing the disagreement between the teacher and the student, effectively creating challenging samples that the student struggles with. Experiments demonstrate that our approach significantly improves worst group and mean group accuracy on CelebA and SpuCo Birds as well as the spurious mAUC on spurious ImageNet under covariate shift, outperforming state-of-the-art diffusion-based data augmentation baselines
Abstract（参考訳）: 広範なデータセットに基づいてトレーニングされた大規模な基盤モデルは、さまざまなドメインで強力なゼロショット機能を示している。データとモデルサイズが制約された場合の成功を再現するため、知識蒸留は基礎モデルから小さな学生ネットワークへ知識を伝達するための確立されたツールとなっている。しかし, 蒸留の有効性はトレーニングデータによって著しく制限されている。この研究は、知識蒸留における共変量シフトの一般的な実践的問題に対処する。これらの急激な特徴が不明だが、堅牢な教師が利用できる場合、学生が彼らに対して堅牢になることは可能だろうか? 本稿では,教師と生徒の意見の相違を最大化し,学生が苦労する挑戦的なサンプルを効果的に生成し,画像を生成する新しい拡散型データ拡張戦略を導入することで,この問題に対処する。実験により,CelebAおよびSpuCo Birdsの群別および群別平均精度は有意に向上し,また,共変量シフト下でのスプリアスイメージネット上のスプリアスmAUCは,最先端拡散ベースラインよりも優れていることが示された。

関連論文リスト

Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2025-04-19T14:08:56Z)
Preserving Angles Improves Feature Distillation of Foundation Models [8.572967695281054]
圧縮空間ネットワークと学生画像モデルとの類似性を保存する。様々なCossNetデータセットが、検出ベンチマークでより堅牢な精度で精度良く生成されることが示されている。これにより、一般的な検出ベンチマークでのトレーニングの競合パスが提供される。
論文参考訳（メタデータ） (2024-11-22T01:48:44Z)
PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文参考訳（メタデータ） (2024-06-09T07:29:55Z)
De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
論文参考訳（メタデータ） (2024-03-28T16:13:22Z)
Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文参考訳（メタデータ） (2023-11-23T11:34:48Z)
Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation [26.744403789694758]
我々は、データに頼ることなく、小型で容易にデプロイ可能で堅牢なモデルを訓練するために、Data-Free Adversarial Robustness Distillation (DFARD)を提案する。人間の教育にインスパイアされた我々は,知識伝達の効率を向上させるために,プラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計する。
論文参考訳（メタデータ） (2023-03-21T06:10:47Z)
On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文参考訳（メタデータ） (2022-03-14T15:02:13Z)
Adversarial Imitation Learning with Trajectorial Augmentation and Correction [61.924411952657756]
本稿では,拡張軌道の成功を保った新しい拡張手法を提案する。我々は, 合成専門家を用いた模倣エージェントの訓練を行うために, 逆データ拡張模倣アーキテクチャを開発した。実験により,我々のデータ拡張戦略は,敵対的模倣の精度と収束時間を向上できることが示された。
論文参考訳（メタデータ） (2021-03-25T14:49:32Z)
Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model [57.41841346459995]
我々は,ブラックボックス教師モデルから知識を抽出し,学生の深層ニューラルネットワークを視覚認識のために訓練する方法を,データ効率のよい方法で研究する。混合学習とアクティブラーニングを融合した手法を提案する。
論文参考訳（メタデータ） (2020-03-31T05:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。