論文の概要: Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2401.04435v1
• Date: Tue, 9 Jan 2024 08:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 16:21:36.567089
• Title: Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning
• Title（参考訳）: 長期半教師付き学習における不確実性認識サンプリング
• Authors: Kuo Yang, Duo Li, Menghan Hu, Guangtao Zhai, Xiaokang Yang, Xiao-Ping Zhang
• Abstract要約: 擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
• 参考スコア（独自算出の注目度）: 89.98353600316285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For semi-supervised learning with imbalance classes, the long-tailed distribution of data will increase the model prediction bias toward dominant classes, undermining performance on less frequent classes. Existing methods also face challenges in ensuring the selection of sufficiently reliable pseudo-labels for model training and there is a lack of mechanisms to adjust the selection of more reliable pseudo-labels based on different training stages. To mitigate this issue, we introduce uncertainty into the modeling process for pseudo-label sampling, taking into account that the model performance on the tailed classes varies over different training stages. For example, at the early stage of model training, the limited predictive accuracy of model results in a higher rate of uncertain pseudo-labels. To counter this, we propose an Uncertainty-Aware Dynamic Threshold Selection (UDTS) approach. This approach allows the model to perceive the uncertainty of pseudo-labels at different training stages, thereby adaptively adjusting the selection thresholds for different classes. Compared to other methods such as the baseline method FixMatch, UDTS achieves an increase in accuracy of at least approximately 5.26%, 1.75%, 9.96%, and 1.28% on the natural scene image datasets CIFAR10-LT, CIFAR100-LT, STL-10-LT, and the medical image dataset TissueMNIST, respectively. The source code of UDTS is publicly available at: https://github.com/yangk/UDTS.
• Abstract（参考訳）: 不均衡クラスを持つ半教師付き学習では、データの長期分布は支配クラスに対するモデル予測バイアスを増大させ、より頻度の低いクラスのパフォーマンスを損なう。 既存の手法では、モデルトレーニングのための十分な信頼性の高い擬似ラベルの選定が困難であり、異なるトレーニング段階に基づいてより信頼性の高い擬似ラベルの選択を調整するメカニズムが欠如している。 この問題を軽減するため,尾付きクラスにおけるモデル性能がトレーニング段階によって異なることを考慮し,擬似ラベルサンプリングのモデリングプロセスに不確実性を導入する。 例えば、モデルトレーニングの初期段階において、モデルの限られた予測精度は、不確実な擬似ラベルのより高いレートをもたらす。 これに対応するために,不確かさを意識した動的閾値選択(UDTS)手法を提案する。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識し、異なるクラスの選択閾値を適応的に調整することができる。 FixMatchなどの他の方法と比較して、UDTSは、CIFAR10-LT、CIFAR100-LT、STL-10-LT、および医療画像データセットのTioMNISTにおいて、それぞれ約5.26%、1.75%、9.96%、1.28%の精度を達成している。 UDTSのソースコードは、https://github.com/yangk/UDTSで公開されている。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Geometry-Aware Adaptation for Pretrained Models [15.715395029966812]
  本稿では、argmaxをFr'echet平均に置き換え、標準予測規則のドロップイン置換を提案する。 提案したアプローチであるLokiは、ImageNet上のSimCLRよりも29.7%向上しています。 そのような指標が得られない場合、Lokiはクラス埋め込みから自己派生メトリクスを使用でき、事前訓練されたゼロショットモデルの10.5%の改善が得られる。
  論文  参考訳（メタデータ） (2023-07-23T04:48:41Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• Selective Classification Via Neural Network Training Dynamics [26.58209894993386]
  本研究では,モデルのトレーニング力学を学習することで,最先端の選択的分類性能を達成できることを実証する。 提案手法は,典型的な選択分類ベンチマークにおいて,最先端の精度/カバレッジトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-05-26T17:51:29Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance [4.563176550691304]
  トレーニングデータラベルの不正確性と不確実性に対処する新しい手法について検討する。 本手法は,トレーニングセットのポイントワイドラベルの不確かさを推定することにより,バイアスと分散の両面を低減できる。
  論文  参考訳（メタデータ） (2020-02-23T18:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。