論文の概要: Generalized Variational Continual Learning
- arxiv url: http://arxiv.org/abs/2011.12328v1
- Date: Tue, 24 Nov 2020 19:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:36:27.950997
- Title: Generalized Variational Continual Learning
- Title(参考訳): 一般化変分連続学習
- Authors: Noel Loo, Siddharth Swaroop, Richard E. Turner
- Abstract要約: 継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。
この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。
VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
- 参考スコア(独自算出の注目度): 33.194866396158005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning deals with training models on new tasks and datasets in an
online fashion. One strand of research has used probabilistic regularization
for continual learning, with two of the main approaches in this vein being
Online Elastic Weight Consolidation (Online EWC) and Variational Continual
Learning (VCL). VCL employs variational inference, which in other settings has
been improved empirically by applying likelihood-tempering. We show that
applying this modification to VCL recovers Online EWC as a limiting case,
allowing for interpolation between the two approaches. We term the general
algorithm Generalized VCL (GVCL). In order to mitigate the observed overpruning
effect of VI, we take inspiration from a common multi-task architecture, neural
networks with task-specific FiLM layers, and find that this addition leads to
significant performance gains, specifically for variational methods. In the
small-data regime, GVCL strongly outperforms existing baselines. In larger
datasets, GVCL with FiLM layers outperforms or is competitive with existing
baselines in terms of accuracy, whilst also providing significantly better
calibration.
- Abstract(参考訳): 継続的学習は、オンライン形式で新しいタスクやデータセットのトレーニングモデルを扱う。
連続学習には確率的正則化(probabilistic regularization)が用いられており、オンライン弾性重み強化(Online EWC)と変分連続学習(VCL)の2つのアプローチがある。
VCLは変分推論を採用しており、他の設定では確率テンパリングを適用して経験的に改善されている。
この修正をVCLに適用することで、オンラインEWCを制限ケースとして回復し、2つのアプローチ間の補間を可能にする。
一般アルゴリズム一般化vcl(gvcl)と呼ぶ。
VIのオーバープルーニング効果を緩和するため、タスク固有のFiLM層を持つニューラルネットワークであるマルチタスクアーキテクチャからインスピレーションを得て、特に変分法において、この追加が大きなパフォーマンス向上をもたらすことを発見した。
小データ体制では、GVCLは既存のベースラインを強く上回る。
より大きなデータセットでは、FILMレイヤを持つGVCLは、精度において既存のベースラインよりも優れるか、競合している。
関連論文リスト
- On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Variance-Covariance Regularization Improves Representation Learning [28.341622247252705]
我々は,分散共分散正規化(VCReg)を導入して,自己教師型学習規則化手法を教師型学習コンテキストに適用する。
我々は、VCRegが画像やビデオの転送学習を大幅に強化し、多数のタスクやデータセットで最先端のパフォーマンスを達成することを実証した。
要約すると、VCRegは、転送学習を大幅に進歩させ、勾配飢餓、神経崩壊、特徴伝達可能性の間の接続を強調する、普遍的に適用可能な正規化フレームワークを提供する。
論文 参考訳(メタデータ) (2023-06-23T05:01:02Z) - On the Effectiveness of Equivariant Regularization for Robust Online
Continual Learning [17.995662644298974]
継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。
近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。
等変正則化(CLER)による連続学習を提案する。
論文 参考訳(メタデータ) (2023-05-05T16:10:31Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。
ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
論文 参考訳(メタデータ) (2023-01-28T06:11:31Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳(メタデータ) (2021-06-24T05:19:26Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z) - Continual Learning with Gated Incremental Memories for sequential data
processing [14.657656286730736]
従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。
本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
論文 参考訳(メタデータ) (2020-04-08T16:00:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。