論文の概要: Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and
Consistency
- arxiv url: http://arxiv.org/abs/2303.08978v1
- Date: Wed, 15 Mar 2023 22:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 17:30:09.701575
- Title: Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and
Consistency
- Title（参考訳）: サンプルごとの不確かさと一貫性の探索による半教師付きアクティブ学習
- Authors: Jaeseung Lim, Jongkeun Na, Nojun Kwak
- Abstract要約: そこで我々は,ASSL(Active Semi-supervised Learning)と呼ばれる手法を提案し,低コストでモデルの精度を向上させる。
ASSLには、ラベルなしデータの使用により、アクティブラーニング(AL)よりもダイナミックなモデル更新が含まれている。
ASSLは同じ性能を保ちながら、半教師あり学習(SSL)の約5.3倍の計算効率を達成した。
- 参考スコア（独自算出の注目度）: 30.94964727745347
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Active Learning (AL) and Semi-supervised Learning are two techniques that
have been studied to reduce the high cost of deep learning by using a small
amount of labeled data and a large amount of unlabeled data. To improve the
accuracy of models at a lower cost, we propose a method called Active
Semi-supervised Learning (ASSL), which combines AL and SSL. To maximize the
synergy between AL and SSL, we focused on the differences between ASSL and AL.
ASSL involves more dynamic model updates than AL due to the use of unlabeled
data in the training process, resulting in the temporal instability of the
predicted probabilities of the unlabeled data. This makes it difficult to
determine the true uncertainty of the unlabeled data in ASSL. To address this,
we adopted techniques such as exponential moving average (EMA) and upper
confidence bound (UCB) used in reinforcement learning. Additionally, we
analyzed the effect of label noise on unsupervised learning by using weak and
strong augmentation pairs to address datainconsistency. By considering both
uncertainty and datainconsistency, we acquired data samples that were used in
the proposed ASSL method. Our experiments showed that ASSL achieved about 5.3
times higher computational efficiency than SSL while achieving the same
performance, and it outperformed the state-of-the-art AL method.
- Abstract（参考訳）: アクティブラーニング(al)とセミ教師付きラーニング(semi-supervised learning)は、少量のラベル付きデータと大量のラベル付きデータを使用することで、ディープラーニングのコストを下げるために研究されている2つの手法である。
低コストでモデルの精度を向上させるため,ALとSSLを組み合わせたActive Semi-supervised Learning(ASSL)手法を提案する。
ALとSSLのシナジーを最大化するために、ASSLとALの違いに注目した。
ASSLは、トレーニングプロセスにおけるラベルなしデータの使用により、ALよりもダイナミックなモデル更新が伴うため、ラベルなしデータの予測確率の時間的不安定が生じる。
これにより、ASSLにおけるラベルなしデータの真の不確実性を決定するのが難しくなる。
そこで我々は, 指数移動平均 (EMA) や高信頼境界 (UCB) などの手法を用いて強化学習を行った。
さらに,教師なし学習におけるラベル雑音の影響を,弱みと強みの強化ペアを用いて解析した。
不確実性とデータ一貫性の両方を考慮することで、提案するassl法で使用されたデータサンプルを得た。
実験の結果,ASSLはSSLよりも計算効率が約5.3倍向上し,その性能は最先端AL法よりも優れていた。
関連論文リスト
- Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。
Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。
SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
論文 参考訳（メタデータ） (2024-07-07T13:46:22Z) - Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。
RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。
我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
論文 参考訳（メタデータ） (2024-05-02T21:52:24Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - Can semi-supervised learning use all the data effectively? A lower bound
perspective [58.71657561857055]
半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。
我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
論文 参考訳（メタデータ） (2023-11-30T13:48:50Z) - InstanT: Semi-supervised Learning with Instance-dependent Thresholds [75.91684890150283]
本稿では,既存手法と比較して高い自由度を有するインスタンス依存しきい値の研究を提案する。
インスタンスレベルのあいまいさと擬似ラベルのインスタンス依存エラー率を利用して、すべての未ラベルインスタンスに対して新しいインスタンス依存しきい値関数を考案する。
論文 参考訳（メタデータ） (2023-10-29T05:31:43Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。
CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
論文 参考訳（メタデータ） (2022-07-22T00:15:02Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳（メタデータ） (2022-02-12T04:16:41Z) - Relieving the Plateau: Active Semi-Supervised Learning for a Better
Landscape [2.3046646540823916]
semi-supervised learning (ssl) はラベル付きデータよりもアクセスしやすいラベルなしデータを活用する。
active learning (al)は、ラベルなしのインスタンスを選択して、ラベル付きデータの少ないパフォーマンスを期待する。
本稿では,ラベル付き集合を含む問題条件を改善するためにラベル付きデータを選択するALアルゴリズムである収束率制御(CRC)を提案する。
論文 参考訳（メタデータ） (2021-04-08T06:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。