論文の概要: EVCL: Elastic Variational Continual Learning with Weight Consolidation

• arxiv url: http://arxiv.org/abs/2406.15972v1
• Date: Sun, 23 Jun 2024 00:32:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:43:16.034077
• Title: EVCL: Elastic Variational Continual Learning with Weight Consolidation
• Title（参考訳）: EVCL:重み強化による弾力的変分連続学習
• Authors: Hunar Batra, Ronald Clark,
• Abstract要約: 継続的な学習は、モデルが以前に学んだことを忘れずに新しいタスクを学習できるようにすることを目的としている。 本研究は、変分連続学習(EWC)の変分後近似機構と弾性重み強化(EWC)の正規化に基づくパラメータ保護戦略を統合する新しいハイブリッドモデルであるElastic Variational Continual Learning with Weight Consolidation(E)を紹介する。 Eは破滅的な忘れを効果的に軽減し、モデルパラメータとタスク固有のデータ間の依存関係をよりよくキャプチャする。
• 参考スコア（独自算出の注目度）: 14.485182089870928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to allow models to learn new tasks without forgetting what has been learned before. This work introduces Elastic Variational Continual Learning with Weight Consolidation (EVCL), a novel hybrid model that integrates the variational posterior approximation mechanism of Variational Continual Learning (VCL) with the regularization-based parameter-protection strategy of Elastic Weight Consolidation (EWC). By combining the strengths of both methods, EVCL effectively mitigates catastrophic forgetting and enables better capture of dependencies between model parameters and task-specific data. Evaluated on five discriminative tasks, EVCL consistently outperforms existing baselines in both domain-incremental and task-incremental learning scenarios for deep discriminative models.
• Abstract（参考訳）: 継続的な学習は、モデルが以前に学んだことを忘れずに新しいタスクを学習できるようにすることを目的としている。 本稿では、変分連続学習(VCL)の変分後近似機構と、弾性重み強化(EWC)の正規化に基づくパラメータ保護戦略を統合する新しいハイブリッドモデルである、重み強化による弾性変分連続学習(EVCL)を紹介する。 両方の手法の長所を組み合わせることで、EVCLは破滅的な忘れを効果的に軽減し、モデルパラメータとタスク固有のデータ間の依存関係のより優れたキャプチャを可能にします。 EVCLは5つの差別的タスクに基づいて評価され、深い差別的モデルのためのドメイン・インクリメンタルおよびタスク・インクリメンタルな学習シナリオにおいて、既存のベースラインを一貫して上回っている。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Continual Human Pose Estimation for Incremental Integration of Keypoints and Pose Variations [12.042768320132694]
  本稿では,連続的な学習課題として,データセット間のポーズ推定を再構成する。 我々は、破滅的な忘れを緩和するための確立された正規化に基づく手法に対して、この定式化をベンチマークする。 提案手法は,既存の正規化に基づく継続学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-30T16:29:30Z)
• Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。 本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T19:28:35Z)
• Adaptive Variational Continual Learning via Task-Heuristic Modelling [3.6119958671506707]
  変分連続学習(英: variational continual learning, 英: Variational continual learning)は、最高の連続学習モデルの中で最先端のパフォーマンスを持つターンキー学習アルゴリズムである。 そこで本研究では,情報学習とモデル最適化のタスクを組み合わせた,一般化された変分連続学習(G)モデルの拡張について検討する。
  論文  参考訳（メタデータ） (2024-08-29T13:28:11Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Generalized Variational Continual Learning [33.194866396158005]
  継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。 この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。 VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
  論文  参考訳（メタデータ） (2020-11-24T19:07:39Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。