論文の概要: Enhancing Sample Utilization through Sample Adaptive Augmentation in Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2309.03598v1
• Date: Thu, 7 Sep 2023 09:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 13:38:46.359582
• Title: Enhancing Sample Utilization through Sample Adaptive Augmentation in Semi-Supervised Learning
• Title（参考訳）: 半教師付き学習におけるサンプル適応強化によるサンプル利用の促進
• Authors: Guan Gui, Zhen Zhao, Lei Qi, Luping Zhou, Lei Wang, Yinghuan Shi
• Abstract要約: 半教師付き学習では、ラベルなしサンプルは拡張と一貫性の正則化によって利用することができる。 既存のSSLモデルは、単純なサンプルの特徴を見落とし、すべてのサンプルに同じ学習戦略を適用するだけです。 そこで本研究では, より多様な方法で, サンプル適応増強(SAA)を提案し, ナイーブサンプルに注意を向ける。
• 参考スコア（独自算出の注目度）: 47.677929366323596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In semi-supervised learning, unlabeled samples can be utilized through augmentation and consistency regularization. However, we observed certain samples, even undergoing strong augmentation, are still correctly classified with high confidence, resulting in a loss close to zero. It indicates that these samples have been already learned well and do not provide any additional optimization benefits to the model. We refer to these samples as ``naive samples". Unfortunately, existing SSL models overlook the characteristics of naive samples, and they just apply the same learning strategy to all samples. To further optimize the SSL model, we emphasize the importance of giving attention to naive samples and augmenting them in a more diverse manner. Sample adaptive augmentation (SAA) is proposed for this stated purpose and consists of two modules: 1) sample selection module; 2) sample augmentation module. Specifically, the sample selection module picks out {naive samples} based on historical training information at each epoch, then the naive samples will be augmented in a more diverse manner in the sample augmentation module. Thanks to the extreme ease of implementation of the above modules, SAA is advantageous for being simple and lightweight. We add SAA on top of FixMatch and FlexMatch respectively, and experiments demonstrate SAA can significantly improve the models. For example, SAA helped improve the accuracy of FixMatch from 92.50% to 94.76% and that of FlexMatch from 95.01% to 95.31% on CIFAR-10 with 40 labels.
• Abstract（参考訳）: 半教師あり学習では、ラベルなしのサンプルは強化と一貫性の正規化によって利用できる。 しかし,強い増量を受ける場合であっても,一定の試料は高い信頼度で正しく分類され,0に近い損失を生じさせる。 これらのサンプルはすでに十分に学習されており、モデルにさらなる最適化の利点を提供していないことを示している。 これらのサンプルを ``naive sample' と呼ぶ。 残念ながら、既存のsslモデルはナイーブなサンプルの特徴を見落としており、すべてのサンプルに同じ学習戦略を適用するだけです。 SSLモデルをさらに最適化するために、より多様な方法で、より単純なサンプルに注意を向けることの重要性を強調します。 この目的のためにサンプル適応拡張(SAA)が提案され、2つのモジュールから構成される。 1) サンプル選択モジュール 2)サンプル増強モジュール。 具体的には、各エポックの履歴トレーニング情報に基づいて、サンプル選択モジュールが{naive sample}を選択すると、サンプル拡張モジュールでは、より多様な方法でネイティブなサンプルが拡張される。 上記のモジュールの実装が極端に簡単になるため、SAAはシンプルで軽量であるのに有利である。 我々はそれぞれFixMatchとFlexMatchの上にSAAを追加し、SAAがモデルを大幅に改善できることを示す実験を行った。 例えば、SAAはFixMatchの精度を92.50%から94.76%に改善し、FlexMatchは95.01%から95.31%に改善した。

関連論文リスト

• Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
  本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。 平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
  論文  参考訳（メタデータ） (2024-10-03T17:47:29Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• FSL-Rectifier: Rectify Outliers in Few-Shot Learning via Test-Time Augmentation [7.477118370563593]
  FSL(Few-shot-learning)は通常、トレーニング中に目に見えないクラスに属する画像(クエリ)を識別するモデルを必要とする。 生成画像コンバインダを用いて、原サンプルと適切な列車クラスサンプルを組み合わせることで、追加のテストクラスサンプルを生成する。 我々は、平均化によってより典型的な表現をもたらす拡張子を介して平均化された特徴を得る。
  論文  参考訳（メタデータ） (2024-02-28T12:37:30Z)
• Rethinking Samples Selection for Contrastive Learning: Mining of Potential Samples [5.586563813796839]
  対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。 正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。 CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
  論文  参考訳（メタデータ） (2023-11-01T08:08:06Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• Learning Fast Samplers for Diffusion Models by Differentiating Through Sample Quality [44.37533757879762]
  差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。 また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。 本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
  論文  参考訳（メタデータ） (2022-02-11T18:53:18Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。