論文の概要: Overcoming General Knowledge Loss with Selective Parameter Finetuning
- arxiv url: http://arxiv.org/abs/2308.12462v1
- Date: Wed, 23 Aug 2023 22:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 15:55:16.343626
- Title: Overcoming General Knowledge Loss with Selective Parameter Finetuning
- Title(参考訳): 選択パラメータファインタニングによる一般知識損失の克服
- Authors: Wenxuan Zhang, Paul Janson, Rahaf Aljundi, Mohamed Elhoseiny
- Abstract要約: パラメータの小さな部分集合に局所的な修正を施すことにより連続モデル更新を実現する新しい手法を提案する。
本手法は,基礎的な視覚言語モデルを用いて,新しい情報学習と事前確立した知識の保存の両面での有効性を徹底的に評価する。
その結果,既存の継続学習手法を平均で0.5%から10%改善し,事前学習した知識の損失を約5%から0.97%に削減した。
- 参考スコア(独自算出の注目度): 52.69948146218189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models encompass an extensive knowledge base and offer remarkable
transferability. However, this knowledge becomes outdated or insufficient over
time. The challenge lies in updating foundation models to accommodate novel
information while retaining their original ability. In this paper, we present a
novel approach to achieving continual model updates by effecting localized
modifications to a small subset of parameters. Guided by insights gleaned from
prior analyses of foundational models, we first localize a specific layer for
model refinement and then introduce an importance scoring mechanism designed to
update only the most crucial weights. Our method is exhaustively evaluated on
foundational vision-language models, measuring its efficacy in both learning
new information and preserving pre-established knowledge across a diverse
spectrum of continual learning tasks, including Aircraft, Birdsnap CIFAR-100,
CUB, Cars, and GTSRB. The results show that our method improves the existing
continual learning methods by 0.5\% - 10\% on average, and reduces the loss of
pre-trained knowledge from around 5\% to 0.97\%. Comprehensive ablation studies
substantiate our method design, shedding light on the contributions of each
component to controllably learning new knowledge and mitigating the forgetting
of pre-trained knowledge.
- Abstract(参考訳): 基礎モデルは広範な知識ベースを包含し、顕著な転送性を提供する。
しかし、この知識は時間とともに時代遅れか不十分になる。
課題は、基盤モデルを更新して、元の能力を維持しながら、新しい情報に対応することである。
本稿では,少数のパラメータに対して局所的な修正を施し,連続モデル更新を実現するための新しい手法を提案する。
基礎モデルの事前分析から得られた洞察に導かれ、まずモデルの改良のために特定の層をローカライズし、次に最も重要な重みだけを更新するように設計された重要度スコアリング機構を導入します。
本手法は基礎的な視覚言語モデルを用いて,新しい情報学習と,航空機,バードスナップ CIFAR-100, CUB, Cars, GTSRB など多種多様な学習課題における事前知識の保存の両面での有効性を評価する。
その結果,本手法は,既存の連続学習手法を平均0.5\%~10\%改善し,事前学習した知識の損失を約5\%から約0.097\%に削減した。
包括的アブレーション研究は,新しい知識を制御的に学習し,事前学習した知識の忘れを緩和するために,各成分の寄与を明らかにした。
関連論文リスト
- Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - Class-Incremental Learning by Knowledge Distillation with Adaptive
Feature Consolidation [39.97128550414934]
本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。
以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。
我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
論文 参考訳(メタデータ) (2022-04-02T16:30:04Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳(メタデータ) (2021-10-21T17:46:44Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z) - Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。
アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。
私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
論文 参考訳(メタデータ) (2021-04-18T10:41:56Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳(メタデータ) (2021-03-30T18:11:30Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳(メタデータ) (2020-10-19T08:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。