論文の概要: Cyclical Curriculum Learning

• arxiv url: http://arxiv.org/abs/2202.05531v1
• Date: Fri, 11 Feb 2022 10:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:21:24.647962
• Title: Cyclical Curriculum Learning
• Title（参考訳）: 循環型カリキュラム学習
• Authors: H. Toprak Kesgin, M. Fatih Amasyali
• Abstract要約: 人工ニューラルネットワーク(ANN)は、人間の学習にインスパイアされている。 人間教育とは異なり、古典的なANNはカリキュラムを使用しない。 カリキュラム学習(Curriculum Learning)とは、実例を有意義な順序で使用するANNトレーニングの過程を指す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks (ANN) are inspired by human learning. However, unlike human education, classical ANN does not use a curriculum. Curriculum Learning (CL) refers to the process of ANN training in which examples are used in a meaningful order. When using CL, training begins with a subset of the dataset and new samples are added throughout the training, or training begins with the entire dataset and the number of samples used is reduced. With these changes in training dataset size, better results can be obtained with curriculum, anti-curriculum, or random-curriculum methods than the vanilla method. However, a generally efficient CL method for various architectures and data sets is not found. In this paper, we propose cyclical curriculum learning (CCL), in which the data size used during training changes cyclically rather than simply increasing or decreasing. Instead of using only the vanilla method or only the curriculum method, using both methods cyclically like in CCL provides more successful results. We tested the method on 18 different data sets and 15 architectures in image and text classification tasks and obtained more successful results than no-CL and existing CL methods. We also have shown theoretically that it is less erroneous to apply CL and vanilla cyclically instead of using only CL or only vanilla method. The code of Cyclical Curriculum is available at https://github.com/CyclicalCurriculum/Cyclical-Curriculum.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は、人間の学習にインスパイアされている。 しかしながら、人間の教育とは異なり、古典的なANNはカリキュラムを使用しない。 カリキュラムラーニング(英: Curriculum Learning, CL)とは、ANNトレーニングにおいて、サンプルを意味のある順序で使用する過程を指す。 CLを使用する場合、トレーニングはデータセットのサブセットから始まり、トレーニング全体を通じて新しいサンプルが追加される。 これらのトレーニングデータセットサイズの変化により、バニラ法よりもカリキュラム、反カリキュラム法、ランダムカリキュラム法でより良い結果が得られる。 しかし、様々なアーキテクチャやデータセットに対する汎用的なCL法は見つからない。 本稿では,学習中のデータサイズが単に増加または減少するのではなく,周期的に変化する循環型カリキュラム学習(ccl)を提案する。 バニラ法やカリキュラム法のみを使う代わりに、CCLのように循環的に両方の方法を使う方が、より成功した結果をもたらす。 画像とテキストの分類タスクにおいて,18の異なるデータセットと15のアーキテクチャでテストを行い,No-CL法や既存のCL法よりも良好な結果を得た。 また, CL法やバニラ法のみを用いることよりも, CL法やバニラ法を循環的に適用することが誤っていることも理論的に証明した。 サイクリックカリキュラムのコードはhttps://github.com/cyclicalcurriculum/cyclical-curriculumで入手できる。

関連論文リスト

• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Data Distribution-based Curriculum Learning [6.895563531851402]
  トレーニングサンプルの順序は、分類器のパフォーマンスに大きな影響を与える可能性がある。 本稿では,データ分散に基づくカリキュラム学習という,カリキュラム学習の新たな考え方を提案する。
  論文  参考訳（メタデータ） (2024-02-12T01:02:22Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Curriculum Learning for Compositional Visual Reasoning [0.0]
  本稿では,GQAデータセット上での学習を温めるために,クロスモーダルな埋め込みに依存するNMN法を提案する。 CL法を適切に選択することにより,トレーニングコストとトレーニングデータの量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2023-03-27T08:47:18Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
  継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。 CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。 オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
  論文  参考訳（メタデータ） (2021-08-28T13:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。