論文の概要: Cup Curriculum: Curriculum Learning on Model Capacity
- arxiv url: http://arxiv.org/abs/2311.03956v1
- Date: Tue, 7 Nov 2023 12:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:35:05.986943
- Title: Cup Curriculum: Curriculum Learning on Model Capacity
- Title（参考訳）: Cup Curriculum: モデル容量に関するカリキュラム学習
- Authors: Luca Scharr and Vanessa Toborek
- Abstract要約: カリキュラム学習は、専門的な学習戦略を適用することにより、与えられたタスクにおける学習者のパフォーマンスを向上させることを目的としている。
この戦略はデータセット、タスク、またはモデルに重点を置いている。
このギャップを埋めるために、カップカリキュラムを提案する。
カップカリキュラムの異なる戦略を実証的に評価し、オーバーフィッティングに対する高いレジリエンスを示しながら、早期に確実に停止することを示す。
- 参考スコア（独自算出の注目度）: 1.0878040851638
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Curriculum learning (CL) aims to increase the performance of a learner on a
given task by applying a specialized learning strategy. This strategy focuses
on either the dataset, the task, or the model. There is little to no work
analysing the possibilities to apply CL on the model capacity in natural
language processing. To close this gap, we propose the cup curriculum. In a
first phase of training we use a variation of iterative magnitude pruning to
reduce model capacity. These weights are reintroduced in a second phase,
resulting in the model capacity to show a cup-shaped curve over the training
iterations. We empirically evaluate different strategies of the cup curriculum
and show that it outperforms early stopping reliably while exhibiting a high
resilience to overfitting.
- Abstract（参考訳）: カリキュラム学習(CL)は,特定のタスクにおける学習者の能力向上を目的として,専門的な学習戦略を適用する。
この戦略はデータセット、タスク、またはモデルに重点を置いている。
自然言語処理のモデルキャパシティにclを適用する可能性を分析する作業はほとんどない。
このギャップを埋めるために、カップカリキュラムを提案する。
トレーニングの第1フェーズでは、モデルのキャパシティを低減するために、反復等級プルーニングのバリエーションを使用します。
これらの重みは第2フェーズで再導入され、トレーニングイテレーションでカップ型の曲線を示すことができる。
我々は,cupカリキュラムの異なる戦略を実証的に評価し,オーバーフィッティングに対する高いレジリエンスを示しながら,早期停止を確実に上回ることを示す。
関連論文リスト
- LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。
本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。
異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
論文 参考訳（メタデータ） (2024-07-28T06:10:47Z) - CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。
変分オートエンコーダを用いてクラス条件分布を学習する。
このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:51:28Z) - Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition [5.01338577379149]
連続学習(CL)は、逐次学習にまたがる過去の知識の統合を目的としたいくつかの手法の開発を加速させた。
CLモデルのための表現に基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-06T07:52:44Z) - Curriculum for Crowd Counting -- Is it Worthy? [2.462045767312954]
近年,ディープラーニングモデルのトレーニングのために,Curriculum Learning(CL)と呼ばれる直感的なテクニックが導入されている。
本研究では, 密度推定法を用いて, 学童数測定におけるカリキュラム学習の影響について検討する。
実験の結果,カリキュラム学習はモデル学習性能を改善し,収束時間を短縮することがわかった。
論文 参考訳（メタデータ） (2024-01-15T10:46:01Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T15:52:02Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - Feeding What You Need by Understanding What You Learned [54.400455868448695]
Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。
MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。
モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
論文 参考訳（メタデータ） (2022-03-05T14:15:59Z) - Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。
数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
論文 参考訳（メタデータ） (2021-12-06T10:29:23Z) - Dynamic Data Selection for Curriculum Learning via Ability Estimation [6.255759848576057]
難易度を学習難易度パラメータで置き換えることを提案する。
また,能力推定によるカリキュラム学習のための動的選択を提案する。
GLUE分類タスクにおいて、学習難易度および/または能力を用いたモデルは、データに基づくカリキュラム学習モデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-30T20:01:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。