論文の概要: An Analytical Theory of Curriculum Learning in Teacher-Student Networks

• arxiv url: http://arxiv.org/abs/2106.08068v1
• Date: Tue, 15 Jun 2021 11:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:20:06.645768
• Title: An Analytical Theory of Curriculum Learning in Teacher-Student Networks
• Title（参考訳）: 教師・学生ネットワークにおけるカリキュラム学習の分析理論
• Authors: Luca Saglietti, Stefano Sarao Mannelli, and Andrew Saxe
• Abstract要約: 人間や動物では、カリキュラム学習は迅速な学習と効果的な教育に不可欠である。 機械学習では、キュリキュラは広く使われておらず、経験的には適度な利益しか得られない。
• 参考スコア（独自算出の注目度）: 10.303947049948107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In humans and animals, curriculum learning -- presenting data in a curated order - is critical to rapid learning and effective pedagogy. Yet in machine learning, curricula are not widely used and empirically often yield only moderate benefits. This stark difference in the importance of curriculum raises a fundamental theoretical question: when and why does curriculum learning help? In this work, we analyse a prototypical neural network model of curriculum learning in the high-dimensional limit, employing statistical physics methods. Curricula could in principle change both the learning speed and asymptotic performance of a model. To study the former, we provide an exact description of the online learning setting, confirming the long-standing experimental observation that curricula can modestly speed up learning. To study the latter, we derive performance in a batch learning setting, in which a network trains to convergence in successive phases of learning on dataset slices of varying difficulty. With standard training losses, curriculum does not provide generalisation benefit, in line with empirical observations. However, we show that by connecting different learning phases through simple Gaussian priors, curriculum can yield a large improvement in test performance. Taken together, our reduced analytical descriptions help reconcile apparently conflicting empirical results and trace regimes where curriculum learning yields the largest gains. More broadly, our results suggest that fully exploiting a curriculum may require explicit changes to the loss function at curriculum boundaries.
• Abstract（参考訳）: 人間や動物では、カリキュラムの学習 -- キュレートされた順序でデータを提示する -- が、迅速な学習と効果的な教育に不可欠である。 しかし機械学習では、カリキュラムは広く使われておらず、経験上は適度な利益しか得られない。 カリキュラムの重要性に対するこの重大な違いは、基本的な理論的疑問を提起する: カリキュラム学習がいつ、なぜ役に立つのか? 本研究では,統計物理学的手法を用いて,カリキュラム学習のプロトタイプ的ニューラルネットワークモデルを高次元で解析する。 カリキュラムは原則としてモデルの学習速度と漸近性能の両方を変えることができる。 前者について,オンライン学習環境の詳細な説明を行い,カリキュラムが学習を緩やかに高速化できるという長年の実験的な観察を確認した。 後者を学習するために,ネットワークは,様々な難易度のあるデータセットスライスに基づく連続的な学習段階の収束を訓練するバッチ学習環境での性能を導出する。 通常の訓練損失では、カリキュラムは経験的な観察に従って一般化の恩恵を与えない。 しかし, 学習段階を単純なガウス前処理で結びつけることで, カリキュラムがテスト性能に大きな改善をもたらすことを示した。 分析的記述の削減は、明らかに実証的な結果と、カリキュラムの学習が最大の利益をもたらす痕跡体制の整合に役立ちます。 より広範に,カリキュラムの完全活用には,カリキュラム境界における損失関数の明示的な変更が必要である可能性が示唆された。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Efficient Mitigation of Bus Bunching through Setter-Based Curriculum Learning [0.47518865271427785]
  本稿では,セッターモデルを用いて,行動空間,対向強み,集団強みを自動生成するカリキュラム学習手法を提案する。 自動カリキュラム学習の手法は、動的に選択され、敵対するネットワークによって学習されるカリキュラムを含む。
  論文  参考訳（メタデータ） (2024-05-23T18:26:55Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Comparison and Analysis of New Curriculum Criteria for End-to-End ASR [10.698093106994804]
  カリキュラム学習は、知識の組織的で構造化された同化が、より速いトレーニングとより良い理解を可能にする能力を持つという観察に基づいて構築される。 我々は,自動音声認識の文脈でカリキュラム学習を採用する。 トレーニングセットに構造を付加するため、外部ニューラルネットワークからのフィードバックを利用するか、モデル自体からのフィードバックを取り入れる複数のスコアリング関数を探索した。
  論文  参考訳（メタデータ） (2022-08-10T06:56:58Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Analyzing Curriculum Learning for Sentiment Analysis along Task Difficulty, Pacing and Visualization Axes [7.817598216459955]
  複数の軸に沿った感情分析でカリキュラム学習を分析する。 カリキュラム学習は難しいタスクに最適であり、カリキュラム学習なしで高いパフォーマンスを持つタスクのパフォーマンスの低下につながる可能性がある。
  論文  参考訳（メタデータ） (2021-02-19T15:42:14Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。