論文の概要: NorMatch: Matching Normalizing Flows with Discriminative Classifiers for
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2211.09593v2
- Date: Fri, 16 Feb 2024 16:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 21:16:31.481785
- Title: NorMatch: Matching Normalizing Flows with Discriminative Classifiers for
Semi-Supervised Learning
- Title(参考訳): NorMatch:半教師付き学習における正規化フローと識別型分類器とのマッチング
- Authors: Zhongying Deng, Rihuan Ke, Carola-Bibiane Schonlieb, Angelica I
Aviles-Rivero
- Abstract要約: Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。
この作業では、NorMatchというSSLの新しいフレームワークを紹介します。
数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
- 参考スコア(独自算出の注目度): 8.749830466953584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-Supervised Learning (SSL) aims to learn a model using a tiny labeled set
and massive amounts of unlabeled data. To better exploit the unlabeled data the
latest SSL methods use pseudo-labels predicted from a single discriminative
classifier. However, the generated pseudo-labels are inevitably linked to
inherent confirmation bias and noise which greatly affects the model
performance. In this work we introduce a new framework for SSL named NorMatch.
Firstly, we introduce a new uncertainty estimation scheme based on normalizing
flows, as an auxiliary classifier, to enforce highly certain pseudo-labels
yielding a boost of the discriminative classifiers. Secondly, we introduce a
threshold-free sample weighting strategy to exploit better both high and low
confidence pseudo-labels. Furthermore, we utilize normalizing flows to model,
in an unsupervised fashion, the distribution of unlabeled data. This modelling
assumption can further improve the performance of generative classifiers via
unlabeled data, and thus, implicitly contributing to training a better
discriminative classifier. We demonstrate, through numerical and visual
results, that NorMatch achieves state-of-the-art performance on several
datasets.
- Abstract(参考訳): Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。
ラベルのないデータをうまく活用するために、最新のSSLメソッドでは、単一の識別分類器から予測される擬似ラベルを使用する。
しかし、生成した擬似ラベルは、モデルの性能に大きな影響を及ぼす固有の確証バイアスとノイズに必然的に関連付けられる。
この作業では、NorMatchというSSLの新しいフレームワークを紹介します。
まず, 正規化フローに基づく新たな不確実性推定手法を補助分類器として導入し, 判別分類器の強化をもたらす疑似ラベルを強要する。
第2に,高信頼性と低信頼性の疑似ラベルを両立させるためのしきい値のないサンプル重み付け手法を提案する。
さらに,教師なしの方法でラベルなしデータの分布をモデル化するために正規化フローを利用する。
このモデリング仮定は、ラベルのないデータによる生成的分類器の性能をさらに向上させ、より優れた識別的分類器の訓練に暗黙的に寄与する。
数値的および視覚的な結果を通じて、NorMatchが複数のデータセットで最先端のパフォーマンスを達成することを示す。
関連論文リスト
- AllMatch: Exploiting All Unlabeled Data for Semi-Supervised Learning [5.0823084858349485]
提案するSSLアルゴリズムであるAllMatchは,擬似ラベル精度の向上とラベルなしデータの100%利用率の向上を実現する。
その結果、AllMatchは既存の最先端メソッドよりも一貫して優れています。
論文 参考訳(メタデータ) (2024-06-22T06:59:52Z) - Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。
本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。
提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
論文 参考訳(メタデータ) (2024-05-31T03:13:45Z) - Rethinking Precision of Pseudo Label: Test-Time Adaptation via
Complementary Learning [10.396596055773012]
本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。
テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。
我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
論文 参考訳(メタデータ) (2023-01-15T03:36:33Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z) - OpenMatch: Open-set Consistency Regularization for Semi-supervised
Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。
OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。
3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-28T23:57:15Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。
現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。
我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-12-18T19:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。