論文の概要: Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning

• arxiv url: http://arxiv.org/abs/2310.07996v1
• Date: Thu, 12 Oct 2023 02:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 13:12:09.320353
• Title: Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning
• Title（参考訳）: リセットして忘れよう:リラーニングラストレイヤー重み付けは継続学習と転校学習を改善する
• Authors: Lapo Frati, Neil Traft, Jeff Clune, Nick Cheney
• Abstract要約: この研究は、継続学習と転帰学習をより良く示す表現につながる単純な事前学習メカニズムを特定する。 最後の層における重みの繰り返しのリセットは、私たちが「ザッピング」と呼ぶもので、元々はメタコンチネンタル・ラーニング(メタコンチネンタル・ラーニング)の手順のために設計されていた。 メタラーニングと継続学習の両以上の多くの環境で驚くほど適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 2.4807486426407044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work identifies a simple pre-training mechanism that leads to representations exhibiting better continual and transfer learning. This mechanism -- the repeated resetting of weights in the last layer, which we nickname "zapping" -- was originally designed for a meta-continual-learning procedure, yet we show it is surprisingly applicable in many settings beyond both meta-learning and continual learning. In our experiments, we wish to transfer a pre-trained image classifier to a new set of classes, in a few shots. We show that our zapping procedure results in improved transfer accuracy and/or more rapid adaptation in both standard fine-tuning and continual learning settings, while being simple to implement and computationally efficient. In many cases, we achieve performance on par with state of the art meta-learning without needing the expensive higher-order gradients, by using a combination of zapping and sequential learning. An intuitive explanation for the effectiveness of this zapping procedure is that representations trained with repeated zapping learn features that are capable of rapidly adapting to newly initialized classifiers. Such an approach may be considered a computationally cheaper type of, or alternative to, meta-learning rapidly adaptable features with higher-order gradients. This adds to recent work on the usefulness of resetting neural network parameters during training, and invites further investigation of this mechanism.
• Abstract（参考訳）: この研究は、より優れた連続的および転送学習を示す表現を導く単純な事前学習メカニズムを特定する。 と呼ばれるこのメカニズムは、もともとメタ連続学習の手順のために設計されたものだが、メタ学習と連続学習の両方以上の多くの設定で驚くほど適用可能であることを示す。 私たちの実験では、トレーニング済みの画像分類器を、いくつかのショットで新しいクラスに転送したいと考えています。 提案手法は,標準的な微調整と連続学習のいずれにおいても,実装が簡単で計算効率が良く,転送精度が向上し,適応性が向上することを示す。 多くの場合、ザッピングとシーケンシャル学習の組み合わせを用いて、高価な高次勾配を必要とせずに、アートメタラーニングと同等のパフォーマンスを達成する。 このザッピング手順の有効性の直感的な説明は、新しい初期化された分類器に迅速に適応可能な繰り返しザッピング学習特徴で訓練された表現である。 このようなアプローチは、計算量的に安価なメタ学習のタイプ、あるいはより高次勾配を持つ素早く適応可能な特徴の代替と見なすことができる。 これは、トレーニング中にニューラルネットワークパラメータをリセットすることの有用性に関する最近の研究に加え、このメカニズムのさらなる研究を招待する。

関連論文リスト

• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。