論文の概要: Enhancing Sample Utilization through Sample Adaptive Augmentation in
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.03598v1
- Date: Thu, 7 Sep 2023 09:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 13:38:46.359582
- Title: Enhancing Sample Utilization through Sample Adaptive Augmentation in
Semi-Supervised Learning
- Title(参考訳): 半教師付き学習におけるサンプル適応強化によるサンプル利用の促進
- Authors: Guan Gui, Zhen Zhao, Lei Qi, Luping Zhou, Lei Wang, Yinghuan Shi
- Abstract要約: 半教師付き学習では、ラベルなしサンプルは拡張と一貫性の正則化によって利用することができる。
既存のSSLモデルは、単純なサンプルの特徴を見落とし、すべてのサンプルに同じ学習戦略を適用するだけです。
そこで本研究では, より多様な方法で, サンプル適応増強(SAA)を提案し, ナイーブサンプルに注意を向ける。
- 参考スコア(独自算出の注目度): 47.677929366323596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In semi-supervised learning, unlabeled samples can be utilized through
augmentation and consistency regularization. However, we observed certain
samples, even undergoing strong augmentation, are still correctly classified
with high confidence, resulting in a loss close to zero. It indicates that
these samples have been already learned well and do not provide any additional
optimization benefits to the model. We refer to these samples as ``naive
samples". Unfortunately, existing SSL models overlook the characteristics of
naive samples, and they just apply the same learning strategy to all samples.
To further optimize the SSL model, we emphasize the importance of giving
attention to naive samples and augmenting them in a more diverse manner. Sample
adaptive augmentation (SAA) is proposed for this stated purpose and consists of
two modules: 1) sample selection module; 2) sample augmentation module.
Specifically, the sample selection module picks out {naive samples} based on
historical training information at each epoch, then the naive samples will be
augmented in a more diverse manner in the sample augmentation module. Thanks to
the extreme ease of implementation of the above modules, SAA is advantageous
for being simple and lightweight. We add SAA on top of FixMatch and FlexMatch
respectively, and experiments demonstrate SAA can significantly improve the
models. For example, SAA helped improve the accuracy of FixMatch from 92.50% to
94.76% and that of FlexMatch from 95.01% to 95.31% on CIFAR-10 with 40 labels.
- Abstract(参考訳): 半教師あり学習では、ラベルなしのサンプルは強化と一貫性の正規化によって利用できる。
しかし,強い増量を受ける場合であっても,一定の試料は高い信頼度で正しく分類され,0に近い損失を生じさせる。
これらのサンプルはすでに十分に学習されており、モデルにさらなる最適化の利点を提供していないことを示している。
これらのサンプルを ``naive sample' と呼ぶ。
残念ながら、既存のsslモデルはナイーブなサンプルの特徴を見落としており、すべてのサンプルに同じ学習戦略を適用するだけです。
SSLモデルをさらに最適化するために、より多様な方法で、より単純なサンプルに注意を向けることの重要性を強調します。
この目的のためにサンプル適応拡張(SAA)が提案され、2つのモジュールから構成される。
1) サンプル選択モジュール
2)サンプル増強モジュール。
具体的には、各エポックの履歴トレーニング情報に基づいて、サンプル選択モジュールが{naive sample}を選択すると、サンプル拡張モジュールでは、より多様な方法でネイティブなサンプルが拡張される。
上記のモジュールの実装が極端に簡単になるため、SAAはシンプルで軽量であるのに有利である。
我々はそれぞれFixMatchとFlexMatchの上にSAAを追加し、SAAがモデルを大幅に改善できることを示す実験を行った。
例えば、SAAはFixMatchの精度を92.50%から94.76%に改善し、FlexMatchは95.01%から95.31%に改善した。
関連論文リスト
- Rethinking Samples Selection for Contrastive Learning: Mining of
Potential Samples [5.586563813796839]
対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。
正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。
CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
論文 参考訳(メタデータ) (2023-11-01T08:08:06Z) - Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2023-10-23T08:00:03Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。
提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。
情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
論文 参考訳(メタデータ) (2022-08-17T04:01:29Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳(メタデータ) (2022-05-25T09:29:27Z) - Learning Fast Samplers for Diffusion Models by Differentiating Through
Sample Quality [44.37533757879762]
差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。
また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。
本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
論文 参考訳(メタデータ) (2022-02-11T18:53:18Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳(メタデータ) (2021-12-16T11:27:48Z) - One for More: Selecting Generalizable Samples for Generalizable ReID
Model [92.40951770273972]
本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。
提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
論文 参考訳(メタデータ) (2020-12-10T06:37:09Z) - Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。
実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。
また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
論文 参考訳(メタデータ) (2020-05-07T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。