論文の概要: Sharp Asymptotics of Self-training with Linear Classifier
- arxiv url: http://arxiv.org/abs/2205.07739v1
- Date: Mon, 16 May 2022 15:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 15:52:48.996221
- Title: Sharp Asymptotics of Self-training with Linear Classifier
- Title(参考訳): 線形分類器を用いた自己学習のシャープ漸近
- Authors: Takashi Takahashi
- Abstract要約: セルフトレーニング(ST)は、半教師あり学習における単純で標準的なアプローチである。
本稿では,STの一般化性能を教師付き学習手法に極めて単純な正規化スケジュールでアプローチすることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-training (ST) is a straightforward and standard approach in
semi-supervised learning, successfully applied to many machine learning
problems. The performance of ST strongly depends on the supervised learning
method used in the refinement step and the nature of the given data; hence, a
general performance guarantee from a concise theory may become loose in a
concrete setup. However, the theoretical methods that sharply predict how the
performance of ST depends on various details for each learning scenario are
limited. This study develops a novel theoretical framework for sharply
characterizing the generalization abilities of the models trained by ST using
the non-rigorous replica method of statistical physics. We consider the ST of
the linear model that minimizes the ridge-regularized cross-entropy loss when
the data are generated from a two-component Gaussian mixture. Consequently, we
show that the generalization performance of ST in each iteration is sharply
characterized by a small finite number of variables, which satisfy a set of
deterministic self-consistent equations. By numerically solving these
self-consistent equations, we find that ST's generalization performance
approaches to the supervised learning method with a very simple regularization
schedule when the label bias is small and a moderately large number of
iterations are used.
- Abstract(参考訳): セルフトレーニング(ST)は、半教師付き学習における単純で標準的なアプローチであり、多くの機械学習問題にうまく適用されている。
stの性能は、精細化ステップで使用される教師付き学習方法と、与えられたデータの性質に大きく依存するので、具体的な設定では、簡潔な理論による一般的な性能保証がゆるくなり得る。
しかし、STの性能が各学習シナリオの様々な詳細に依存することを強く予測する理論的手法は限られている。
本研究では、統計物理学の非厳密なレプリカ法を用いて、STにより訓練されたモデルの一般化能力を鋭く特徴づける新しい理論枠組みを開発する。
2成分ガウス混合物からデータを生成する際にリッジ正規化クロスエントロピー損失を最小化する線形モデルのstを考える。
その結果、各反復におけるSTの一般化性能は、決定論的自己整合方程式の集合を満たす有限個の変数によって著しく特徴づけられることを示した。
これらの自己整合方程式を数値的に解くことにより、ラベルバイアスが小さく、適度に多くの繰り返しが使用される場合、STの一般化性能が教師付き学習法に非常に単純な正規化スケジュールでアプローチできることが分かる。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。
計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。
我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
論文 参考訳(メタデータ) (2021-10-07T15:16:07Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳(メタデータ) (2021-10-03T05:38:49Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳(メタデータ) (2020-12-14T10:36:06Z) - Density Fixing: Simple yet Effective Regularization Method based on the
Class Prior [2.3859169601259347]
本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。
提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
論文 参考訳(メタデータ) (2020-07-08T04:58:22Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳(メタデータ) (2020-06-18T17:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。