論文の概要: On the Statistical Benefits of Curriculum Learning
- arxiv url: http://arxiv.org/abs/2111.07126v1
- Date: Sat, 13 Nov 2021 14:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 14:05:00.656687
- Title: On the Statistical Benefits of Curriculum Learning
- Title(参考訳): カリキュラム学習の統計的便益について
- Authors: Ziping Xu and Ambuj Tewari
- Abstract要約: 本研究では,マルチタスク線形回帰問題におけるカリキュラム学習(CL)の利点について,構造化と非構造化の両方の条件下で検討する。
その結果,適応学習は,非構造化環境でのオラクル学習よりも根本的に困難であることが判明した。
- 参考スコア(独自算出の注目度): 33.94130046391917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Curriculum learning (CL) is a commonly used machine learning training
strategy. However, we still lack a clear theoretical understanding of CL's
benefits. In this paper, we study the benefits of CL in the multitask linear
regression problem under both structured and unstructured settings. For both
settings, we derive the minimax rates for CL with the oracle that provides the
optimal curriculum and without the oracle, where the agent has to adaptively
learn a good curriculum. Our results reveal that adaptive learning can be
fundamentally harder than the oracle learning in the unstructured setting, but
it merely introduces a small extra term in the structured setting. To connect
theory with practice, we provide justification for a popular empirical method
that selects tasks with highest local prediction gain by comparing its
guarantees with the minimax rates mentioned above.
- Abstract(参考訳): カリキュラム学習(Curriculum Learning, CL)は、機械学習のトレーニング戦略である。
しかし、CLの利点に関する明確な理論的理解はいまだに欠けている。
本稿では,マルチタスク線形回帰問題におけるCLの利点について,構造化および非構造化条件下で検討する。
両方の設定において、最適なカリキュラムを提供するオラクルと、適切なカリキュラムをエージェントが適応的に学習しなければならない託宣なしでCLのミニマックスレートを導出する。
その結果、アダプティブ・ラーニングは、非構造化環境ではオラクルの学習よりも基本的に難しくなりますが、単に構造化された設定で少し余分な用語を導入するだけです。
理論と実践をつなぐために,先述のミニマックス率と比較し,局所予測利得の高いタスクを選択する一般的な経験的手法の正当性を示す。
関連論文リスト
- A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文 参考訳(メタデータ) (2023-11-22T09:21:28Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - Can Continual Learning Improve Long-Tailed Recognition? Toward a Unified
Framework [16.457778420360537]
長大認識法は,より大きい頭部セットと小さいテールセットの両方からなるデータセットを正確に学習することを目的としている。
本研究では,学習者の重みを効果的に更新し,頭部を忘れずにタイルを学習できることを示す。
また,自然に不均衡な256データセット上でCLを探索することにより,実世界のデータに対するCL手法の適用性を評価する。
論文 参考訳(メタデータ) (2023-06-23T03:05:33Z) - From MNIST to ImageNet and Back: Benchmarking Continual Curriculum
Learning [9.104068727716294]
継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。
6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。
さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
論文 参考訳(メタデータ) (2023-03-16T18:11:19Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - A Mathematical Model for Curriculum Learning [6.320141734801678]
我々は、勾配降下(SGD)によって訓練されたニューラルネットワークを用いて、二進弦のdビット上のk-パリティのクラスを学習するためのCLモデルを導入する。
2つ以上の製品分布を含む訓練例の賢明な選択は、このクラスの関数を学習する際の計算コストを大幅に削減できることを示す。
非有界な多くのカリキュラムステップを持つCLは、このクラスを効率的に学習できると推測する。
論文 参考訳(メタデータ) (2023-01-31T18:25:36Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [22.457562524649934]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳(メタデータ) (2022-10-27T18:03:37Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。