論文の概要: Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency

• arxiv url: http://arxiv.org/abs/2303.08978v1
• Date: Wed, 15 Mar 2023 22:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:30:09.701575
• Title: Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency
• Title（参考訳）: サンプルごとの不確かさと一貫性の探索による半教師付きアクティブ学習
• Authors: Jaeseung Lim, Jongkeun Na, Nojun Kwak
• Abstract要約: そこで我々は,ASSL(Active Semi-supervised Learning)と呼ばれる手法を提案し,低コストでモデルの精度を向上させる。 ASSLには、ラベルなしデータの使用により、アクティブラーニング(AL)よりもダイナミックなモデル更新が含まれている。 ASSLは同じ性能を保ちながら、半教師あり学習(SSL)の約5.3倍の計算効率を達成した。
• 参考スコア（独自算出の注目度）: 30.94964727745347
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Active Learning (AL) and Semi-supervised Learning are two techniques that have been studied to reduce the high cost of deep learning by using a small amount of labeled data and a large amount of unlabeled data. To improve the accuracy of models at a lower cost, we propose a method called Active Semi-supervised Learning (ASSL), which combines AL and SSL. To maximize the synergy between AL and SSL, we focused on the differences between ASSL and AL. ASSL involves more dynamic model updates than AL due to the use of unlabeled data in the training process, resulting in the temporal instability of the predicted probabilities of the unlabeled data. This makes it difficult to determine the true uncertainty of the unlabeled data in ASSL. To address this, we adopted techniques such as exponential moving average (EMA) and upper confidence bound (UCB) used in reinforcement learning. Additionally, we analyzed the effect of label noise on unsupervised learning by using weak and strong augmentation pairs to address datainconsistency. By considering both uncertainty and datainconsistency, we acquired data samples that were used in the proposed ASSL method. Our experiments showed that ASSL achieved about 5.3 times higher computational efficiency than SSL while achieving the same performance, and it outperformed the state-of-the-art AL method.
• Abstract（参考訳）: アクティブラーニング(al)とセミ教師付きラーニング(semi-supervised learning)は、少量のラベル付きデータと大量のラベル付きデータを使用することで、ディープラーニングのコストを下げるために研究されている2つの手法である。 低コストでモデルの精度を向上させるため,ALとSSLを組み合わせたActive Semi-supervised Learning(ASSL)手法を提案する。 ALとSSLのシナジーを最大化するために、ASSLとALの違いに注目した。 ASSLは、トレーニングプロセスにおけるラベルなしデータの使用により、ALよりもダイナミックなモデル更新が伴うため、ラベルなしデータの予測確率の時間的不安定が生じる。 これにより、ASSLにおけるラベルなしデータの真の不確実性を決定するのが難しくなる。 そこで我々は, 指数移動平均 (EMA) や高信頼境界 (UCB) などの手法を用いて強化学習を行った。 さらに,教師なし学習におけるラベル雑音の影響を,弱みと強みの強化ペアを用いて解析した。 不確実性とデータ一貫性の両方を考慮することで、提案するassl法で使用されたデータサンプルを得た。 実験の結果,ASSLはSSLよりも計算効率が約5.3倍向上し,その性能は最先端AL法よりも優れていた。

関連論文リスト

• Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning [42.089020844936805]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を活用して機械学習(ML)モデルをトレーニングする。 SSLでトレーニングされたMLモデルに対して,データ拡張に基づく最初のメンバシップ推論攻撃を提案する。 評価の結果,提案攻撃は既存のメンバシップ推論攻撃よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-25T21:17:24Z)
• Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
  そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。 CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
  論文  参考訳（メタデータ） (2022-07-22T00:15:02Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
  Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。 本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。 実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
  論文  参考訳（メタデータ） (2022-05-21T11:52:08Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Relieving the Plateau: Active Semi-Supervised Learning for a Better Landscape [2.3046646540823916]
  semi-supervised learning (ssl) はラベル付きデータよりもアクセスしやすいラベルなしデータを活用する。 active learning (al)は、ラベルなしのインスタンスを選択して、ラベル付きデータの少ないパフォーマンスを期待する。 本稿では,ラベル付き集合を含む問題条件を改善するためにラベル付きデータを選択するALアルゴリズムである収束率制御(CRC)を提案する。
  論文  参考訳（メタデータ） (2021-04-08T06:03:59Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Matching Distributions via Optimal Transport for Semi-Supervised Learning [31.533832244923843]
  SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。 本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。 提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
  論文  参考訳（メタデータ） (2020-12-04T11:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。