論文の概要: When Do Curricula Work?
- arxiv url: http://arxiv.org/abs/2012.03107v3
- Date: Tue, 9 Feb 2021 17:38:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 14:14:16.357160
- Title: When Do Curricula Work?
- Title（参考訳）: カリキュラムはいつ機能するのか?
- Authors: Xiaoxia Wu and Ethan Dyer and Behnam Neyshabur
- Abstract要約: 規則学習はI. I. I. D. トレーニングの改善として提案されている。
我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。
キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
- 参考スコア（独自算出の注目度）: 26.072472732516335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by human learning, researchers have proposed ordering examples
during training based on their difficulty. Both curriculum learning, exposing a
network to easier examples early in training, and anti-curriculum learning,
showing the most difficult examples first, have been suggested as improvements
to the standard i.i.d. training. In this work, we set out to investigate the
relative benefits of ordered learning. We first investigate the \emph{implicit
curricula} resulting from architectural and optimization bias and find that
samples are learned in a highly consistent order. Next, to quantify the benefit
of \emph{explicit curricula}, we conduct extensive experiments over thousands
of orderings spanning three kinds of learning: curriculum, anti-curriculum, and
random-curriculum -- in which the size of the training dataset is dynamically
increased over time, but the examples are randomly ordered. We find that for
standard benchmark datasets, curricula have only marginal benefits, and that
randomly ordered samples perform as well or better than curricula and
anti-curricula, suggesting that any benefit is entirely due to the dynamic
training set size. Inspired by common use cases of curriculum learning in
practice, we investigate the role of limited training time budget and noisy
data in the success of curriculum learning. Our experiments demonstrate that
curriculum, but not anti-curriculum can indeed improve the performance either
with limited training time budget or in existence of noisy data.
- Abstract（参考訳）: 人間の学習にインスパイアされた研究者は、その困難さに基づいてトレーニング中の注文例を提案する。
カリキュラム学習、訓練の早い段階での簡単な例にネットワークを公開すること、そして最も難しい例を最初に示す反カリキュラム学習は、標準i.i.dの改良として提案されている。
訓練だ
そこで本研究では,順序学習の相対的効果について検討する。
まず,アーキテクチャと最適化のバイアスから生じる<emph{implicit curricula} を調査し,サンプルが高度に一貫性のある順序で学習されることを確認した。
次に、emph{explicit curricula}の利点を定量化するために、カリキュラム、反曲率、ランダム曲率の3種類の学習にまたがる何千ものオーダーで広範囲な実験を行い、トレーニングデータセットのサイズは時間とともに動的に増加するが、サンプルはランダムに順序付けされる。
標準的なベンチマークデータセットでは、キュリキュラは限界的なメリットしか持たず、ランダムに順序づけられたサンプルは、キュリキュラや反キュリキュラと同等かそれ以上にパフォーマンスし、どのような利点も完全に動的トレーニングセットのサイズによるものであることを示唆している。
カリキュラム学習の実践例に着想を得て,カリキュラム学習の成功における限られた訓練時間予算とノイズデータの役割について検討した。
本実験は,カリキュラムが反カリキュラムではなく,限られたトレーニング時間予算で,あるいはノイズの多いデータが存在する場合に,実際に性能を向上できることを実証する。
関連論文リスト
- EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。
自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。
結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文 参考訳（メタデータ） (2024-05-14T17:00:43Z) - Curriculum Learning and Imitation Learning for Model-free Control on
Financial Time-series [0.6562256987706128]
カリキュラム学習と模倣学習は、ロボット分野において広く活用されている。
我々は、複雑な時系列データに対する代表制御タスクにおいて、これらのアプローチを理論的かつ経験的に探索する。
この結果から,カリキュラム学習は制御タスク性能向上の新たな方向性であると考えられた。
論文 参考訳（メタデータ） (2023-11-22T11:42:50Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳（メタデータ） (2022-12-24T11:02:35Z) - An Analytical Theory of Curriculum Learning in Teacher-Student Networks [10.303947049948107]
人間や動物では、カリキュラム学習は迅速な学習と効果的な教育に不可欠である。
機械学習では、キュリキュラは広く使われておらず、経験的には適度な利益しか得られない。
論文 参考訳（メタデータ） (2021-06-15T11:48:52Z) - Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。
簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。
当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
論文 参考訳（メタデータ） (2021-03-20T03:57:59Z) - Statistical Measures For Defining Curriculum Scoring Function [5.328970912536596]
実画像データセット上での畳み込みニューラルネットワークとフルコネクテッドニューラルネットワークの性能向上を示します。
暗黙のカリキュラム順序からの洞察に動機づけられ,簡単なカリキュラム学習戦略を導入する。
また,動的カリキュラム学習アルゴリズムの性能について提案・検討する。
論文 参考訳（メタデータ） (2021-02-27T07:25:49Z) - Curriculum Learning: A Survey [65.31516318260759]
カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。
我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。
集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
論文 参考訳（メタデータ） (2021-01-25T20:08:32Z) - Fine-Tuning Pretrained Language Models: Weight Initializations, Data
Orders, and Early Stopping [62.78338049381917]
教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。
GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。
これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
論文 参考訳（メタデータ） (2020-02-15T02:40:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。