Fugu-MT 論文翻訳(概要): On Robust Incremental Learning over Many Multilingual Steps

論文の概要: On Robust Incremental Learning over Many Multilingual Steps

arxiv url: http://arxiv.org/abs/2210.14307v1
Date: Tue, 25 Oct 2022 20:05:53 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 13:10:38.977196
Title: On Robust Incremental Learning over Many Multilingual Steps
Title（参考訳）: 多言語ステップにおけるロバストインクリメンタル学習について
Authors: Karan Praharaj, Irina Matveeva
Abstract要約: そこで本研究では,様々な言語から得られたデータを用いて,多数の微調整ステップを段階的に段階的に頑健に学習する手法を提案する。データ拡張と最適化されたトレーニングシステムを組み合わせることで、最大50のトレーニングステップでもモデルの改善を継続できることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work in incremental learning has introduced diverse approaches to tackle catastrophic forgetting from data augmentation to optimized training regimes. However, most of them focus on very few training steps. We propose a method for robust incremental learning over dozens of fine-tuning steps using data from a variety of languages. We show that a combination of data-augmentation and an optimized training regime allows us to continue improving the model even for as many as fifty training steps. Crucially, our augmentation strategy does not require retaining access to previous training data and is suitable in scenarios with privacy constraints.
Abstract（参考訳）: インクリメンタルラーニングにおける最近の研究は、データ強化から最適化されたトレーニング体制への破滅的な忘れに対処する様々なアプローチを導入している。しかし、ほとんどがごく少数の訓練段階に集中している。本稿では,様々な言語から得られたデータを用いて,数十の微調整ステップで頑健なインクリメンタル学習を行う手法を提案する。データ提供と最適化されたトレーニングレジームの組み合わせによって、最大50のトレーニングステップでもモデルの改善を継続できることを示す。重要なことに、当社の強化戦略は、以前のトレーニングデータへのアクセスを必要とせず、プライバシー制約のあるシナリオに適している。

関連論文リスト

Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文参考訳（メタデータ） (2024-11-11T07:36:19Z)
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
論文参考訳（メタデータ） (2023-12-15T14:49:41Z)
D4: Improving LLM Pretraining via Document De-Duplication and Diversification [38.84592304799403]
事前訓練されたモデル埋め込みによる慎重なデータ選択は、トレーニングをスピードアップできることを示す。また、データ繰り返しがベースライントレーニングよりインテリジェントに優れていることも示しています。
論文参考訳（メタデータ） (2023-08-23T17:58:14Z)
PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文参考訳（メタデータ） (2022-12-09T13:22:27Z)
Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文参考訳（メタデータ） (2021-12-02T17:11:33Z)
Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning [11.138005656807968]
本稿では,メモリ効率の良い連続事前学習法であるEfficientCLを紹介する。データ拡張には、カットオフとPCAジッタリングという2種類の操作を順次積み重ねる。事前学習の段階が進む一方で,各難易度を増進してカリキュラム学習を適用する。
論文参考訳（メタデータ） (2021-09-10T05:49:55Z)
Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
論文参考訳（メタデータ） (2021-06-21T10:50:34Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。パターン認識型メタラーニング手法を提案する。
論文参考訳（メタデータ） (2020-10-19T08:06:47Z)
Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
論文参考訳（メタデータ） (2020-10-05T17:52:25Z)
Accelerating Reinforcement Learning for Reaching using Continuous Curriculum Learning [6.703429330486276]
我々は、強化学習(RL)訓練の加速と、多目標到達タスクの性能向上に重点を置いている。具体的には、トレーニングプロセス中に要件を徐々に調整する精度ベースの継続的カリキュラム学習(PCCL)手法を提案する。このアプローチは、シミュレーションと実世界のマルチゴールリーチ実験の両方において、ユニバーサルロボット5eを用いてテストされる。
論文参考訳（メタデータ） (2020-02-07T10:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。