論文の概要: A replica analysis of Self-Training of Linear Classifier
- arxiv url: http://arxiv.org/abs/2205.07739v2
- Date: Thu, 4 Apr 2024 12:14:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 21:01:43.233948
- Title: A replica analysis of Self-Training of Linear Classifier
- Title（参考訳）: 線形分類器の自己学習のレプリカ解析
- Authors: Takashi Takahashi,
- Abstract要約: 自己学習 (ST) は、半教師あり学習における単純で標準的なアプローチである。
モデルに誤った擬似ラベルを付けることによって、なぜ、どのようにパフォーマンスを改善するのかは、まだよく分かっていない。
- 参考スコア（独自算出の注目度）: 3.1274367448459253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-training (ST) is a simple and standard approach in semi-supervised learning that has been applied to many machine learning problems. Despite its widespread acceptance and practical effectiveness, it is still not well understood why and how ST improves performance by fitting the model to potentially erroneous pseudo-labels. To investigate the properties of ST, in this study, we derive and analyze a sharp characterization of the behavior of iterative ST when training a linear classifier by minimizing the ridge-regularized convex loss for binary Gaussian mixtures, in the asymptotic limit where input dimension and data size diverge proportionally. The derivation is based on the replica method of statistical mechanics. The result indicates that, when the total number of iterations is large, ST may find a classification plane with the optimal direction regardless of the label imbalance by accumulating small parameter updates over long iterations. It is argued that this is because the small update of ST can accumulate information of the data in an almost noiseless way. However, when a label imbalance is present in true labels, the performance of the ST is significantly lower than that of supervised learning with true labels, because the ratio between the norm of the weight and the magnitude of the bias can become significantly large. To overcome the problems in label imbalanced cases, several heuristics are introduced. By numerically analyzing the asymptotic formula, it is demonstrated that with the proposed heuristics, ST can find a classifier whose performance is nearly compatible with supervised learning using true labels even in the presence of significant label imbalance.
- Abstract（参考訳）: セルフトレーニング(ST)は、半教師付き学習におけるシンプルで標準的なアプローチであり、多くの機械学習問題に適用されている。
広く受け入れられ、実際的な効果があるにもかかわらず、なぜSTが間違った擬似ラベルにモデルを適合させることでパフォーマンスを改善するのかは、まだよく分かっていない。
本研究では, 線形分類器の訓練において, 入力次元とデータサイズが比例する漸近的限界において, 2成分ガウス混合物の隆起・正則化凸損失を最小化することにより, 繰り返しSTの挙動の鋭い特徴を導出し, 解析する。
この導出は統計力学の複製法に基づいている。
その結果, 繰り返し回数の総和が大きい場合, ST はラベルの不均衡にかかわらず, 長い反復で小さなパラメータの更新を蓄積することにより, 最適方向の分類平面を求めることができることがわかった。
これは、STの小さな更新が、ほとんどノイズのない方法でデータの情報を蓄積できるためである、と論じられている。
しかし、ラベルの不均衡が真のラベルに存在する場合、重みのノルムとバイアスの大きさの比が著しく大きくなるため、STの性能は真のラベルによる教師あり学習よりも著しく低い。
ラベルの不均衡ケースの問題を克服するために、いくつかのヒューリスティックスを導入している。
漸近式を数値解析することにより,提案したヒューリスティックスにより,有意なラベルの不均衡が存在する場合でも,真のラベルを用いた教師あり学習とほぼ互換性のある分類器が見つかることを示した。
関連論文リスト
- Smooth Pseudo-Labeling [4.1569253650826195]
半教師付き学習(SSL)における実りある方法は擬似ラベル(PL)である
PLは、関連する損失関数が誘導体に不連続性を持つという重要な欠点に悩まされており、ラベルが極めて少ない場合に性能が不安定になる。
ラベル付き画像がデータセット全体からランダムに選択され、データセットの頻度に比例する各クラスの表現を含まない新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2024-05-23T08:33:07Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。
1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。
本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。
本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文 参考訳（メタデータ） (2024-01-15T03:33:39Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳（メタデータ） (2023-05-25T08:19:31Z) - An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised
Learning [103.65758569417702]
半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。
我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。
我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
論文 参考訳（メタデータ） (2022-11-20T21:18:41Z) - Contrastive Regularization for Semi-Supervised Learning [46.020125061295886]
そこで本稿では, ラベルのないデータの特徴量により, 整合正則化の効率性と精度を両立させるために, 対照的な正則化を提案する。
また,提案手法は,ラベルなしデータに分布しないサンプルを含むオープンセット半教師付き学習において,頑健な性能を示す。
論文 参考訳（メタデータ） (2022-01-17T07:20:11Z) - Imputing Missing Observations with Time Sliced Synthetic Minority
Oversampling Technique [0.3973560285628012]
本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。
我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。
これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
論文 参考訳（メタデータ） (2022-01-14T19:23:24Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-15T23:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。