論文の概要: Improving Representational Continuity via Continued Pretraining

• arxiv url: http://arxiv.org/abs/2302.13289v1
• Date: Sun, 26 Feb 2023 10:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 17:53:52.806643
• Title: Improving Representational Continuity via Continued Pretraining
• Title（参考訳）: 継続予習による表現連続性の向上
• Authors: Michael Sun, Ananya Kumar, Divyam Madaan and Percy Liang
• Abstract要約: トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
• 参考スコア（独自算出の注目度）: 76.29171039601948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the continual representation learning setting: sequentially pretrain a model $M'$ on tasks $T_1, \ldots, T_T$, and then adapt $M'$ on a small amount of data from each task $T_i$ to check if it has forgotten information from old tasks. Under a kNN adaptation protocol, prior work shows that continual learning methods improve forgetting over naive training (SGD). In reality, practitioners do not use kNN classifiers -- they use the adaptation method that works best (e.g., fine-tuning) -- here, we find that strong continual learning baselines do worse than naive training. Interestingly, we find that a method from the transfer learning community (LP-FT) outperforms naive training and the other continual learning methods. Even with standard kNN evaluation protocols, LP-FT performs comparably with strong continual learning methods (while being simpler and requiring less memory) on three standard benchmarks: sequential CIFAR-10, CIFAR-100, and TinyImageNet. LP-FT also reduces forgetting in a real world satellite remote sensing dataset (FMoW), and a variant of LP-FT gets state-of-the-art accuracies on an NLP continual learning benchmark.
• Abstract（参考訳）: モデル $M'$ をタスク $T_1, \ldots, T_T$ で逐次事前トレーニングした後、タスク $T_i$ から少量のデータに $M'$ を適用して、古いタスクからの情報を忘れているかどうかを確認する。 knn適応プロトコルの下では、継続的な学習方法がナイーブトレーニング(sgd)よりも忘れることを改善することを示している。 実際、実践者はkNN分類器を使用しません -- 最高の適応法(例えば、微調整)を使用します -- ここでは、強い連続的な学習ベースラインは、ナイーブなトレーニングよりも悪くなります。 興味深いことに、トランスファーラーニングコミュニティ(LP-FT)の手法は、ナイーブトレーニングやその他の継続学習方法よりも優れている。 標準的なkn評価プロトコルであっても、lp-ftはシーケンシャルcifar-10、cifar-100、tinyimagenetの3つの標準ベンチマークで、強力な連続学習手法(よりシンプルで少ないメモリを必要とする)と相性がよい。 LP-FTはまた、実世界の衛星リモートセンシングデータセット(FMoW)の忘れを減らし、LP-FTの変種はNLP連続学習ベンチマークで最先端の精度を得る。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [20.98770732015944]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• Revisiting k-NN for Fine-tuning Pre-trained Language Models [25.105882538429743]
  我々は PLM ベースの分類器を強化するために k-Nearest-Neighbor (kNN) 分類器を再検討する。 我々のアプローチの核心は、予測結果を簡単な例と難しい例の指標として扱うkNN校正トレーニングの実装である。 我々は、微調整、急速調整、ゼロショット、少数ショット、完全教師付き設定に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-04-18T15:28:47Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference [74.80730361332711]
  コンピュータビジョンにおいて、ほとんどショット学習は重要かつトピック的な問題である。 単純なトランスフォーマーベースのパイプラインは、標準ベンチマークで驚くほど優れたパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T02:55:58Z)
• Deep learning for inverse problems with unknown operator [0.0]
  フォワード演算子$T$が未知の逆問題では、関数$f_i$とノイズの多いイメージ$Tf_i$からなるトレーニングデータにアクセスできます。 本稿では,データに最小限の仮定を必要とする新しい手法を提案し,学習点数と雑音レベルに依存する再現率を示す。
  論文  参考訳（メタデータ） (2021-08-05T17:21:12Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。