Fugu-MT 論文翻訳(概要): Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning

論文の概要: Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning

arxiv url: http://arxiv.org/abs/2109.05941v1
Date: Fri, 10 Sep 2021 05:49:55 GMT
ステータス: 処理完了
システム内更新日: 2021-09-14 16:04:37.803882
Title: Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning
Title（参考訳）: 新しいデータ拡張とカリキュラム学習による効率的なコントラスト学習
Authors: Seonghyeon Ye, Jiseon Kim, Alice Oh
Abstract要約: 本稿では,メモリ効率の良い連続事前学習法であるEfficientCLを紹介する。データ拡張には、カットオフとPCAジッタリングという2種類の操作を順次積み重ねる。事前学習の段階が進む一方で,各難易度を増進してカリキュラム学習を適用する。
参考スコア（独自算出の注目度）: 11.138005656807968
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce EfficientCL, a memory-efficient continual pretraining method that applies contrastive learning with novel data augmentation and curriculum learning. For data augmentation, we stack two types of operation sequentially: cutoff and PCA jittering. While pretraining steps proceed, we apply curriculum learning by incrementing the augmentation degree for each difficulty step. After data augmentation is finished, contrastive learning is applied on projected embeddings of original and augmented examples. When finetuned on GLUE benchmark, our model outperforms baseline models, especially for sentence-level tasks. Additionally, this improvement is capable with only 70% of computational memory compared to the baseline model.
Abstract（参考訳）: 本稿では,新しいデータ拡張とカリキュラム学習によるコントラスト学習を適用した,メモリ効率のよい継続事前学習手法であるEfficientCLを紹介する。データ拡張には、カットオフとPCAジッタリングという2種類の操作を順次積み重ねる。事前学習段階が進む中,難易度ごとに増進度を増やすことでカリキュラム学習を行う。データ拡張が完了すると、オリジナルおよび拡張例の投影埋め込みにコントラスト学習が適用される。 GLUEベンチマークを微調整すると、特に文レベルのタスクにおいて、ベースラインモデルよりも優れている。さらに、この改善は、ベースラインモデルと比較して計算メモリの70%しか持たない。

関連論文リスト

Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
論文参考訳（メタデータ） (2024-11-06T16:13:50Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文参考訳（メタデータ） (2023-11-20T14:50:12Z)
Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-31T03:35:59Z)
CLIP: Train Faster with Less Data [3.2575001434344286]
ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。 CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
論文参考訳（メタデータ） (2022-12-02T21:29:48Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文参考訳（メタデータ） (2022-02-21T10:34:41Z)
LiST: Lite Self-training Makes Efficient Few-shot Learners [91.28065455714018]
LiSTは古典的な微調整法よりも35%改善し、プロンプトチューニングよりも6%改善した。
論文参考訳（メタデータ） (2021-10-12T18:47:18Z)
Pretraining Representations for Data-Efficient Reinforcement Learning [12.43475487724972]
ラベルのないデータを使ってエンコーダを事前訓練し、少数のタスク固有のデータに基づいて微調整する。 Atariゲーム上でのインタラクションが100万段階に制限された場合、我々のアプローチは以前の作業を大幅に上回っている。提案手法では,大規模モデルと組み合わせることで,より多様なタスク整合観測データが得られる。
論文参考訳（メタデータ） (2021-06-09T04:14:27Z)
ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
論文参考訳（メタデータ） (2021-01-28T00:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。