Fugu-MT 論文翻訳(概要): Generalized Variational Continual Learning

論文の概要: Generalized Variational Continual Learning

arxiv url: http://arxiv.org/abs/2011.12328v1
Date: Tue, 24 Nov 2020 19:07:39 GMT
ステータス: 処理完了
システム内更新日: 2022-09-21 12:36:27.950997
Title: Generalized Variational Continual Learning
Title（参考訳）: 一般化変分連続学習
Authors: Noel Loo, Siddharth Swaroop, Richard E. Turner
Abstract要約: 継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。 VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
参考スコア（独自算出の注目度）: 33.194866396158005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual learning deals with training models on new tasks and datasets in an online fashion. One strand of research has used probabilistic regularization for continual learning, with two of the main approaches in this vein being Online Elastic Weight Consolidation (Online EWC) and Variational Continual Learning (VCL). VCL employs variational inference, which in other settings has been improved empirically by applying likelihood-tempering. We show that applying this modification to VCL recovers Online EWC as a limiting case, allowing for interpolation between the two approaches. We term the general algorithm Generalized VCL (GVCL). In order to mitigate the observed overpruning effect of VI, we take inspiration from a common multi-task architecture, neural networks with task-specific FiLM layers, and find that this addition leads to significant performance gains, specifically for variational methods. In the small-data regime, GVCL strongly outperforms existing baselines. In larger datasets, GVCL with FiLM layers outperforms or is competitive with existing baselines in terms of accuracy, whilst also providing significantly better calibration.
Abstract（参考訳）: 継続的学習は、オンライン形式で新しいタスクやデータセットのトレーニングモデルを扱う。連続学習には確率的正則化(probabilistic regularization)が用いられており、オンライン弾性重み強化(Online EWC)と変分連続学習(VCL)の2つのアプローチがある。 VCLは変分推論を採用しており、他の設定では確率テンパリングを適用して経験的に改善されている。この修正をVCLに適用することで、オンラインEWCを制限ケースとして回復し、2つのアプローチ間の補間を可能にする。一般アルゴリズム一般化vcl(gvcl)と呼ぶ。 VIのオーバープルーニング効果を緩和するため、タスク固有のFiLM層を持つニューラルネットワークであるマルチタスクアーキテクチャからインスピレーションを得て、特に変分法において、この追加が大きなパフォーマンス向上をもたらすことを発見した。小データ体制では、GVCLは既存のベースラインを強く上回る。より大きなデータセットでは、FILMレイヤを持つGVCLは、精度において既存のベースラインよりも優れるか、競合している。

関連論文リスト

Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
論文参考訳（メタデータ） (2024-10-01T12:58:37Z)
Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective [39.74441755776661]
オンライン連続学習(CL)では、分散の変化に訓練されたモデルは、新しく受け取ったタスクに対する学習した知識とバイアスを忘れやすい。トレーニング中の破滅的な分布変化に対応するために,分類ネットワークを増強する2レベルフレームワークであるContinuous Bias Adaptor(CBA)を提示する。本稿では,新しいタスクと古いタスクからクラスの後部確率を別々に集約し,結果として生じる後部確率に安定した調整を施した,クラスに依存しない新しいCBAモジュールを提案する。
論文参考訳（メタデータ） (2024-08-26T03:19:52Z)
CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。変分オートエンコーダを用いてクラス条件分布を学習する。このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文参考訳（メタデータ） (2024-07-22T16:51:28Z)
Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
論文参考訳（メタデータ） (2024-06-27T04:00:15Z)
EVCL: Elastic Variational Continual Learning with Weight Consolidation [14.485182089870928]
継続的な学習は、モデルが以前に学んだことを忘れずに新しいタスクを学習できるようにすることを目的としている。本研究は、変分連続学習(EWC)の変分後近似機構と弾性重み強化(EWC)の正規化に基づくパラメータ保護戦略を統合する新しいハイブリッドモデルであるElastic Variational Continual Learning with Weight Consolidation(E)を紹介する。 Eは破滅的な忘れを効果的に軽減し、モデルパラメータとタスク固有のデータ間の依存関係をよりよくキャプチャする。
論文参考訳（メタデータ） (2024-06-23T00:32:06Z)
On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。等変正則化(CLER)による連続学習を提案する。
論文参考訳（メタデータ） (2023-05-05T16:10:31Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)
Continual Learning with Gated Incremental Memories for sequential data processing [14.657656286730736]
従来の知識を忘れずに動的で非定常的な環境で学習する能力、あるいは継続学習(CL)は、適応型ソリューションのスケーラブルで信頼性の高いデプロイを可能にする重要な手段である。本研究では,従来の知識を忘れることなく,入力分布における概念ドリフトに対処できるCLのためのリカレントニューラルネットワーク(RNN)モデルを提案する。
論文参考訳（メタデータ） (2020-04-08T16:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。