Fugu-MT 論文翻訳(概要): Continual Learning with Weight Interpolation

論文の概要: Continual Learning with Weight Interpolation

arxiv url: http://arxiv.org/abs/2404.04002v1
Date: Fri, 5 Apr 2024 10:25:40 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 16:24:44.844817
Title: Continual Learning with Weight Interpolation
Title（参考訳）: 重み補間による連続学習
Authors: Jędrzej Kozal, Jan Wasilewski, Bartosz Krawczyk, Michał Woźniak,
Abstract要約: 継続的な学習には、モデルが以前のタスクからの知識を維持しながら、新しいタスクに適応する必要がある。本稿では,重み強化手法を用いた継続学習手法を提案する。
参考スコア（独自算出の注目度）: 4.689826327213979
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning poses a fundamental challenge for modern machine learning systems, requiring models to adapt to new tasks while retaining knowledge from previous ones. Addressing this challenge necessitates the development of efficient algorithms capable of learning from data streams and accumulating knowledge over time. This paper proposes a novel approach to continual learning utilizing the weight consolidation method. Our method, a simple yet powerful technique, enhances robustness against catastrophic forgetting by interpolating between old and new model weights after each novel task, effectively merging two models to facilitate exploration of local minima emerging after arrival of new concepts. Moreover, we demonstrate that our approach can complement existing rehearsal-based replay approaches, improving their accuracy and further mitigating the forgetting phenomenon. Additionally, our method provides an intuitive mechanism for controlling the stability-plasticity trade-off. Experimental results showcase the significant performance enhancement to state-of-the-art experience replay algorithms the proposed weight consolidation approach offers. Our algorithm can be downloaded from https://github.com/jedrzejkozal/weight-interpolation-cl.
Abstract（参考訳）: 継続的学習は現代の機械学習システムにとって根本的な課題であり、モデルが新しいタスクに適応し、以前のタスクからの知識を保持する必要がある。この課題に対処するには、データストリームから学習し、時間とともに知識を蓄積できる効率的なアルゴリズムの開発が必要である。本稿では,重み強化手法を用いた継続学習手法を提案する。提案手法は,従来のモデルウェイトと新しいモデルウェイトを補間することで,破滅的忘れに対するロバスト性を向上し,新しい概念の到来後に出現する局所ミニマの探索を容易にするために2つのモデルを効果的にマージする。さらに,本手法は既存のリハーサルベースのリプレイ手法を補完し,その精度を向上し,忘れる現象を軽減できることを示す。さらに, 本手法は, 安定性・塑性トレードオフを制御するための直感的なメカニズムを提供する。実験結果から,提案した重み強化手法により,最先端体験再生アルゴリズムの性能向上が図られた。私たちのアルゴリズムはhttps://github.com/jedrzejkozal/weight-interpolation-clからダウンロードできます。

関連論文リスト

Robustness Reprogramming for Representation Learning [18.466637575445024]
十分に訓練されたディープラーニングモデルを考えると、パラメータを変更することなく、対向的あるいはノイズの多い入力摂動に対する堅牢性を高めるために再プログラムできるだろうか? 本稿では,新しい非線形ロバストパターンマッチング手法を提案する。
論文参考訳（メタデータ） (2024-10-06T18:19:02Z)
ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文参考訳（メタデータ） (2024-05-15T13:22:39Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文参考訳（メタデータ） (2023-05-09T05:04:35Z)
Robust Deep Reinforcement Learning Scheduling via Weight Anchoring [7.570246812206769]
我々は、重みアンカーを用いてニューラルネットワークの望ましい振る舞いを培養し、固定する。ウェイトアンカーは、他の学習問題の解に近い学習問題の解を見つけるために用いられる。その結果,シミュレーション環境を増強する技術に匹敵する性能が得られた。
論文参考訳（メタデータ） (2023-04-20T09:30:23Z)
Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文参考訳（メタデータ） (2023-03-12T05:08:03Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文参考訳（メタデータ） (2021-10-25T06:32:06Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Sample-efficient reinforcement learning using deep Gaussian processes [18.044018772331636]
強化学習(Reinforcement learning)は、試行錯誤を通じてタスクを完了するためのアクションを制御するためのフレームワークを提供する。モデルに基づく強化学習効率は、世界力学をシミュレートする学習によって改善される。合成の深さがモデル複雑性をもたらすのに対して、ダイナミックスに関する事前の知識を取り入れることで、滑らかさと構造がもたらされる、深いガウス過程を導入する。
論文参考訳（メタデータ） (2020-11-02T13:37:57Z)
Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。