論文の概要: Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition
- arxiv url: http://arxiv.org/abs/2404.19527v1
- Date: Sun, 28 Apr 2024 09:56:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 14:15:27.617090
- Title: Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition
- Title（参考訳）: データ拡張の2つの側面:オープンセット認識のための非対称蒸留に基づくWin-Winソリューション
- Authors: Yunbing Jia, Xiaoyu Kong, Fan Tang, Yixing Gao, Weiming Dong, Yi Yang,
- Abstract要約: 閉集合認識の強化は開集合認識の大幅な減少と相関することがわかった。
知識蒸留は模倣によって特徴を損なう可能性があるが、あいまいな意味論との混合特徴は蒸留を妨げている。
提案手法は,Tiny-ImageNetデータセット上で,オープンセットの低下を軽減し,AUROCを2%向上させる。
- 参考スコア（独自算出の注目度）: 26.641452963393156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we reveal the two sides of data augmentation: enhancements in closed-set recognition correlate with a significant decrease in open-set recognition. Through empirical investigation, we find that multi-sample-based augmentations would contribute to reducing feature discrimination, thereby diminishing the open-set criteria. Although knowledge distillation could impair the feature via imitation, the mixed feature with ambiguous semantics hinders the distillation. To this end, we propose an asymmetric distillation framework by feeding teacher model extra raw data to enlarge the benefit of teacher. Moreover, a joint mutual information loss and a selective relabel strategy are utilized to alleviate the influence of hard mixed samples. Our method successfully mitigates the decline in open-set and outperforms SOTAs by 2%~3% AUROC on the Tiny-ImageNet dataset and experiments on large-scale dataset ImageNet-21K demonstrate the generalization of our method.
- Abstract（参考訳）: 本稿では,データ拡張の2つの側面を明らかにする。クローズドセット認識の強化は,オープンセット認識の大幅な減少と相関する。
経験的調査により,マルチサンプルによる拡張が特徴識別の低減に寄与し,オープンセット基準が低下することが判明した。
知識蒸留は模倣によって特徴を損なう可能性があるが、あいまいな意味論との混合特徴は蒸留を妨げている。
そこで本研究では,教師の利益を増大させるために,教師モデルに余分な生データを供給し,非対称蒸留フレームワークを提案する。
さらに、硬質混合試料の影響を軽減するために、連立情報損失と選択的レナベル戦略を利用する。
提案手法は,Tiny-ImageNetデータセット上でのSOTAの減少を2%～3%削減し,大規模なデータセットであるImageNet-21Kで実験を行い,本手法の一般化を実証した。
関連論文リスト
- Double Reverse Regularization Network Based on Self-Knowledge
Distillation for SAR Object Classification [12.976481910364665]
本稿では,自己知識蒸留(DRRNet-SKD)に基づく新しい二重逆正規化ネットワークを提案する。
DRRNet-SKDは従来のCNNに顕著な性能向上を示し、最先端の自己知識蒸留法より優れている。
論文 参考訳（メタデータ） (2023-11-26T08:09:43Z) - On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。
これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。
提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2023-05-29T16:20:23Z) - Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。
画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文 参考訳（メタデータ） (2023-04-26T10:36:40Z) - Dataset Distillation via Factorization [58.8114016318593]
既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。
emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。
提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
論文 参考訳（メタデータ） (2022-10-30T08:36:19Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳（メタデータ） (2021-05-01T00:43:38Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。
一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。
これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文 参考訳（メタデータ） (2020-06-12T12:18:52Z) - An Empirical Analysis of the Impact of Data Augmentation on Knowledge
Distillation [7.7243976139153885]
経験的リスク最小化を用いて訓練したディープラーニングモデルの一般化性能を大幅に改善することができる。
教師がMixUpやCutMixのような混合サンプル増強戦略を用いて訓練された場合、その一般化能力に障害がある。
論文 参考訳（メタデータ） (2020-06-06T08:20:48Z) - Data Augmentation Imbalance For Imbalanced Attribute Classification [60.71438625139922]
本稿では,データ拡張不均衡(DAI)と呼ばれる新しい再サンプリングアルゴリズムを提案する。
我々のDAIアルゴリズムは歩行者属性のデータセットに基づいて最先端の結果を得る。
論文 参考訳（メタデータ） (2020-04-19T20:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。