論文の概要: How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis
- arxiv url: http://arxiv.org/abs/2201.08514v2
- Date: Tue, 25 Jan 2022 01:03:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 12:15:30.622972
- Title: How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis
- Title（参考訳）: 非ラベルデータは自己学習の一般化をどのように改善するか?
単層理論解析
- Authors: Shuai Zhang, Meng Wang, Sijia Liu, Pin-Yu Chen, Jinjun Xiong
- Abstract要約: この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
- 参考スコア（独自算出の注目度）: 93.37576644429578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-training, a semi-supervised learning algorithm, leverages a large amount
of unlabeled data to improve learning when the labeled data are limited.
Despite empirical successes, its theoretical characterization remains elusive.
To the best of our knowledge, this work establishes the first theoretical
analysis for the known iterative self-training paradigm and proves the benefits
of unlabeled data in both training convergence and generalization ability. To
make our theoretical analysis feasible, we focus on the case of
one-hidden-layer neural networks. However, theoretical understanding of
iterative self-training is non-trivial even for a shallow neural network. One
of the key challenges is that existing neural network landscape analysis built
upon supervised learning no longer holds in the (semi-supervised) self-training
paradigm. We address this challenge and prove that iterative self-training
converges linearly with both convergence rate and generalization accuracy
improved in the order of $1/\sqrt{M}$, where $M$ is the number of unlabeled
samples. Experiments from shallow neural networks to deep neural networks are
also provided to justify the correctness of our established theoretical
insights on self-training.
- Abstract（参考訳）: 半教師付き学習アルゴリズムである自己学習は、ラベルなしデータを大量に活用し、ラベル付きデータが制限された場合の学習を改善する。
経験的な成功にもかかわらず、その理論的特徴は解明されていない。
我々の知る限り、本研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立し、トレーニング収束と一般化能力の両方においてラベルなしデータの利点を証明する。
理論的解析を可能とするために、一層ニューラルネットワークの場合に焦点を当てる。
しかしながら、反復的自己学習の理論的理解は、浅いニューラルネットワークでさえは自明ではない。
重要な課題の1つは、教師付き学習に基づく既存のニューラルネットワークのランドスケープ分析が(半教師付き)自己学習パラダイムではもはや保持されないことだ。
この課題に対処し、反復的な自己学習が収束率と一般化精度の両方を1/\sqrt{M}$の順に改善して線形収束することを証明する。
また, 浅層ニューラルネットワークから深層ニューラルネットワークまで, 自己学習に関する確立した理論的洞察の正しさを正当化するために, 実験を行った。
関連論文リスト
- Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Learning Curves for Sequential Training of Neural Networks:
Self-Knowledge Transfer and Forgetting [9.734033555407406]
我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。
モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。
同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
論文 参考訳（メタデータ） (2021-12-03T00:25:01Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Theoretical Analysis of Self-Training with Deep Networks on Unlabeled
Data [48.4779912667317]
自己学習アルゴリズムは、ニューラルネットワークを使ってラベルのないデータで学ぶことに成功している。
この研究は、半教師なし学習、教師なしドメイン適応、教師なし学習のための深層ネットワークによる自己学習の統一的理論的解析を提供する。
論文 参考訳（メタデータ） (2020-10-07T19:43:55Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Statistical and Algorithmic Insights for Semi-supervised Learning with
Self-training [30.866440916522826]
自己学習は、半教師あり学習における古典的なアプローチである。
自己学習の繰り返しは、たとえ最適でない固定点に留まったとしても、モデル精度を良好に向上することを示す。
次に、自己学習に基づく半スーパービジョンと、異種データによる学習のより一般的な問題との関連性を確立する。
論文 参考訳（メタデータ） (2020-06-19T08:09:07Z) - Convergence of End-to-End Training in Deep Unsupervised Contrastive
Learning [3.8073142980733]
教師なしのコントラスト学習は、ラベルのないデータから表現を学習するための強力な方法であることが証明されている。
この研究は、これらの教師なし手法の実践的成功に関する理論的知見を提供する。
論文 参考訳（メタデータ） (2020-02-17T14:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。