論文の概要: Learn Faster and Forget Slower via Fast and Stable Task Adaptation

• arxiv url: http://arxiv.org/abs/2007.01388v2
• Date: Sun, 29 Nov 2020 16:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 12:50:45.957601
• Title: Learn Faster and Forget Slower via Fast and Stable Task Adaptation
• Title（参考訳）: 速く学び、高速で安定したタスク適応によって遅くなる
• Authors: Farshid Varno and Lucas May Petry and Lisa Di Jorio and Stan Matwin
• Abstract要約: 現在の微調整技術により、事前訓練されたモデルは、新しいタスクが学習される前に、転送された知識を忘れることができる。 本稿では,Fast And Stable Task-Adaptation (FAST)を提案する。 実験により,FASTはより高速に目標タスクを学習し,ソースタスクを遅くすることを示す。
• 参考スコア（独自算出の注目度）: 10.696114236900808
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training Deep Neural Networks (DNNs) is still highly time-consuming and compute-intensive. It has been shown that adapting a pretrained model may significantly accelerate this process. With a focus on classification, we show that current fine-tuning techniques make the pretrained models catastrophically forget the transferred knowledge even before anything about the new task is learned. Such rapid knowledge loss undermines the merits of transfer learning and may result in a much slower convergence rate compared to when the maximum amount of knowledge is exploited. We investigate the source of this problem from different perspectives and to alleviate it, introduce Fast And Stable Task-adaptation (FAST), an easy to apply fine-tuning algorithm. The paper provides a novel geometric perspective on how the loss landscape of source and target tasks are linked in different transfer learning strategies. We empirically show that compared to prevailing fine-tuning practices, FAST learns the target task faster and forgets the source task slower.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングはまだ非常に時間と計算集約性が高い。 事前訓練されたモデルを適用することで、このプロセスが大幅に加速することが示されている。 分類に焦点を絞って,現在の微調整手法により,新しいタスクが学習される前にも,事前学習されたモデルが伝達された知識を壊滅的に忘れてしまうことが示されている。 このような素早い知識喪失は、伝達学習のメリットを損なうものであり、最大知識量を利用する場合と比較して、収束率がはるかに遅くなる可能性がある。 本稿では,この問題の原因を異なる視点から検討し,その緩和を図るため,Fast And Staable Task-Adaptation (FAST)を導入し,微調整の容易なアルゴリズムを提案する。 この論文は、ソースとターゲットタスクの損失状況が、異なるトランスファー学習戦略にどのように関連しているかに関する、新しい幾何学的視点を提供する。 実験により,FASTはより高速に目標タスクを学習し,ソースタスクの遅さを忘れることを示した。

関連論文リスト

• Why pre-training is beneficial for downstream classification tasks? [32.331679393303446]
  本稿では,ゲーム理論の新たな視点から,事前学習が下流作業に与える影響を定量的かつ明示的に説明することを提案する。 具体的には,事前学習モデルにより符号化された知識を抽出し,定量化する。 我々は、下流タスクの推測のために、少数の事前訓練されたモデルの知識しか保存されていないことを発見した。
  論文  参考訳（メタデータ） (2024-10-11T02:13:16Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• TOAST: Transfer Learning via Attention Steering [77.83191769502763]
  現在の伝達学習法は、しばしばタスク関連機能に焦点をあてることに失敗する。 タスク固有の特徴に注意を向ける新しい伝達学習アルゴリズムであるTop-Down Attention Steering(TOAST)を紹介する。 TOASTは、さまざまなきめ細かい視覚分類データセットのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-24T20:03:04Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• On effects of Knowledge Distillation on Transfer Learning [0.0]
  本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。 我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-10-18T08:11:52Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。