論文の概要: Enhancing Sample Utilization through Sample Adaptive Augmentation in
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.03598v1
- Date: Thu, 7 Sep 2023 09:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 13:38:46.359582
- Title: Enhancing Sample Utilization through Sample Adaptive Augmentation in
Semi-Supervised Learning
- Title（参考訳）: 半教師付き学習におけるサンプル適応強化によるサンプル利用の促進
- Authors: Guan Gui, Zhen Zhao, Lei Qi, Luping Zhou, Lei Wang, Yinghuan Shi
- Abstract要約: 半教師付き学習では、ラベルなしサンプルは拡張と一貫性の正則化によって利用することができる。
既存のSSLモデルは、単純なサンプルの特徴を見落とし、すべてのサンプルに同じ学習戦略を適用するだけです。
そこで本研究では, より多様な方法で, サンプル適応増強(SAA)を提案し, ナイーブサンプルに注意を向ける。
- 参考スコア（独自算出の注目度）: 47.677929366323596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In semi-supervised learning, unlabeled samples can be utilized through
augmentation and consistency regularization. However, we observed certain
samples, even undergoing strong augmentation, are still correctly classified
with high confidence, resulting in a loss close to zero. It indicates that
these samples have been already learned well and do not provide any additional
optimization benefits to the model. We refer to these samples as ``naive
samples". Unfortunately, existing SSL models overlook the characteristics of
naive samples, and they just apply the same learning strategy to all samples.
To further optimize the SSL model, we emphasize the importance of giving
attention to naive samples and augmenting them in a more diverse manner. Sample
adaptive augmentation (SAA) is proposed for this stated purpose and consists of
two modules: 1) sample selection module; 2) sample augmentation module.
Specifically, the sample selection module picks out {naive samples} based on
historical training information at each epoch, then the naive samples will be
augmented in a more diverse manner in the sample augmentation module. Thanks to
the extreme ease of implementation of the above modules, SAA is advantageous
for being simple and lightweight. We add SAA on top of FixMatch and FlexMatch
respectively, and experiments demonstrate SAA can significantly improve the
models. For example, SAA helped improve the accuracy of FixMatch from 92.50% to
94.76% and that of FlexMatch from 95.01% to 95.31% on CIFAR-10 with 40 labels.
- Abstract（参考訳）: 半教師あり学習では、ラベルなしのサンプルは強化と一貫性の正規化によって利用できる。
しかし,強い増量を受ける場合であっても,一定の試料は高い信頼度で正しく分類され,0に近い損失を生じさせる。
これらのサンプルはすでに十分に学習されており、モデルにさらなる最適化の利点を提供していないことを示している。
これらのサンプルを ``naive sample' と呼ぶ。
残念ながら、既存のsslモデルはナイーブなサンプルの特徴を見落としており、すべてのサンプルに同じ学習戦略を適用するだけです。
SSLモデルをさらに最適化するために、より多様な方法で、より単純なサンプルに注意を向けることの重要性を強調します。
この目的のためにサンプル適応拡張(SAA)が提案され、2つのモジュールから構成される。
1) サンプル選択モジュール
2)サンプル増強モジュール。
具体的には、各エポックの履歴トレーニング情報に基づいて、サンプル選択モジュールが{naive sample}を選択すると、サンプル拡張モジュールでは、より多様な方法でネイティブなサンプルが拡張される。
上記のモジュールの実装が極端に簡単になるため、SAAはシンプルで軽量であるのに有利である。
我々はそれぞれFixMatchとFlexMatchの上にSAAを追加し、SAAがモデルを大幅に改善できることを示す実験を行った。
例えば、SAAはFixMatchの精度を92.50%から94.76%に改善し、FlexMatchは95.01%から95.31%に改善した。
関連論文リスト
- Enhancing Sample Selection by Cutting Mislabeled Easy Examples [62.13094877228772]
トレーニングプロセスの初期段階において,モデルによって正しく予測された誤ラベル例は,特にモデル性能に有害であることを示す。
モデルの後続のトレーニング状態を利用して,早期に同定された自信あるサブセットを再選択するアーリーカットを提案する。
論文 参考訳（メタデータ） (2025-02-12T09:12:45Z) - Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。
平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
論文 参考訳（メタデータ） (2024-10-03T17:47:29Z) - Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。
複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。
コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
論文 参考訳（メタデータ） (2024-07-31T17:57:25Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Rethinking Samples Selection for Contrastive Learning: Mining of
Potential Samples [5.586563813796839]
対照的な学習は、2つの画像が同じカテゴリに属しているかどうかを予測する。
正と負の両方のサンプルを考慮し、2つの側面から潜在的サンプルをマイニングする。
CIFAR10, CIFAR100, TinyImagenetでそれぞれ88.57%, 61.10%, および36.69%のTop-1精度を達成した。
論文 参考訳（メタデータ） (2023-11-01T08:08:06Z) - Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。
提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。
情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-08-17T04:01:29Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳（メタデータ） (2022-05-25T09:29:27Z) - Learning Fast Samplers for Diffusion Models by Differentiating Through
Sample Quality [44.37533757879762]
差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。
また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。
本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
論文 参考訳（メタデータ） (2022-02-11T18:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。