論文の概要: Generalized Variational Continual Learning

• arxiv url: http://arxiv.org/abs/2011.12328v1
• Date: Tue, 24 Nov 2020 19:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:36:27.950997
• Title: Generalized Variational Continual Learning
• Title（参考訳）: 一般化変分連続学習
• Authors: Noel Loo, Siddharth Swaroop, Richard E. Turner
• Abstract要約: 継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。 この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。 VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
• 参考スコア（独自算出の注目度）: 33.194866396158005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning deals with training models on new tasks and datasets in an online fashion. One strand of research has used probabilistic regularization for continual learning, with two of the main approaches in this vein being Online Elastic Weight Consolidation (Online EWC) and Variational Continual Learning (VCL). VCL employs variational inference, which in other settings has been improved empirically by applying likelihood-tempering. We show that applying this modification to VCL recovers Online EWC as a limiting case, allowing for interpolation between the two approaches. We term the general algorithm Generalized VCL (GVCL). In order to mitigate the observed overpruning effect of VI, we take inspiration from a common multi-task architecture, neural networks with task-specific FiLM layers, and find that this addition leads to significant performance gains, specifically for variational methods. In the small-data regime, GVCL strongly outperforms existing baselines. In larger datasets, GVCL with FiLM layers outperforms or is competitive with existing baselines in terms of accuracy, whilst also providing significantly better calibration.
• Abstract（参考訳）: 継続的学習は、オンライン形式で新しいタスクやデータセットのトレーニングモデルを扱う。 連続学習には確率的正則化(probabilistic regularization)が用いられており、オンライン弾性重み強化(Online EWC)と変分連続学習(VCL)の2つのアプローチがある。 VCLは変分推論を採用しており、他の設定では確率テンパリングを適用して経験的に改善されている。 この修正をVCLに適用することで、オンラインEWCを制限ケースとして回復し、2つのアプローチ間の補間を可能にする。 一般アルゴリズム一般化vcl(gvcl)と呼ぶ。 VIのオーバープルーニング効果を緩和するため、タスク固有のFiLM層を持つニューラルネットワークであるマルチタスクアーキテクチャからインスピレーションを得て、特に変分法において、この追加が大きなパフォーマンス向上をもたらすことを発見した。 小データ体制では、GVCLは既存のベースラインを強く上回る。 より大きなデータセットでは、FILMレイヤを持つGVCLは、精度において既存のベースラインよりも優れるか、競合している。

関連論文リスト

• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  VLMを適応させながら忘れを緩和する新しい手法であるインクリメンタル・プロンプトラーニングのための連続的生成訓練を提案する。 ゼロショット能力を改善しつつ、新しいタスクに適応する上でのフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• EVCL: Elastic Variational Continual Learning with Weight Consolidation [14.485182089870928]
  継続的な学習は、モデルが以前に学んだことを忘れずに新しいタスクを学習できるようにすることを目的としている。 本研究は、変分連続学習(EWC)の変分後近似機構と弾性重み強化(EWC)の正規化に基づくパラメータ保護戦略を統合する新しいハイブリッドモデルであるElastic Variational Continual Learning with Weight Consolidation(E)を紹介する。 Eは破滅的な忘れを効果的に軽減し、モデルパラメータとタスク固有のデータ間の依存関係をよりよくキャプチャする。
  論文  参考訳（メタデータ） (2024-06-23T00:32:06Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
  従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。 本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。