論文の概要: Mixture-of-Variational-Experts for Continual Learning
- arxiv url: http://arxiv.org/abs/2110.12667v1
- Date: Mon, 25 Oct 2021 06:32:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 14:41:33.267006
- Title: Mixture-of-Variational-Experts for Continual Learning
- Title(参考訳): 連続学習のための混合変量実験
- Authors: Heinke Hihn and Daniel A. Braun
- Abstract要約: 学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One significant shortcoming of machine learning is the poor ability of models
to solve new problems quicker and without forgetting acquired knowledge. To
better understand this issue, continual learning has emerged to systematically
investigate learning protocols where the model sequentially observes samples
generated by a series of tasks. First, we propose an optimality principle that
facilitates a trade-off between learning and forgetting. We derive this
principle from an information-theoretic formulation of bounded rationality and
show its connections to other continual learning methods. Second, based on this
principle, we propose a neural network layer for continual learning, called
Mixture-of-Variational-Experts (MoVE), that alleviates forgetting while
enabling the beneficial transfer of knowledge to new tasks. Our experiments on
variants of the MNIST and CIFAR10 datasets demonstrate the competitive
performance of MoVE layers when compared to state-of-the-art approaches.
- Abstract(参考訳): 機械学習の重大な欠点の1つは、獲得した知識を忘れずに、新しい問題を解決するモデルの能力不足である。
この問題をよりよく理解するために、連続学習は、一連のタスクによって生成されたサンプルを逐次観察する学習プロトコルを体系的に研究する。
まず,学習と学習のトレードオフを容易にする最適性原理を提案する。
本稿では,この原理を有界有理性情報理論の定式化から導き,他の連続学習手法との関係を示す。
第二に,この原則に基づき,新しいタスクへの知識の有益な伝達を可能にしつつ,忘れを緩和する「mixed-of-variational-experts(move)」と呼ばれる,連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、最先端のアプローチと比較してMoVE層の競合性能を示す。
関連論文リスト
- Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-07T12:19:37Z) - ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。
固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。
提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文 参考訳(メタデータ) (2024-05-15T13:22:39Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳(メタデータ) (2024-03-20T02:21:44Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - Progressive Learning without Forgetting [8.563323015260709]
連続学習(CL)のパラダイムにおける2つの課題に焦点をあてる。
PLwFは従来のタスクから関数を導入し、各タスクの最も信頼できる知識を含む知識空間を構築する。
信用割当は、投射を通して勾配の衝突を取り除くことによって、綱引きのダイナミクスを制御する。
他のCL法と比較して,生データに頼らずとも,優れた結果が得られている。
論文 参考訳(メタデータ) (2022-11-28T10:53:14Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-01-15T15:12:51Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - Dynamic Knowledge embedding and tracing [18.717482292051788]
本稿では,行列分解の手法と最近のリカレントニューラルネットワーク(RNN)の進歩を組み合わせた知識追跡手法を提案する。
提案するemphDynEmbフレームワークは,概念やスキルのタグ情報を使わずに,学生の知識の追跡を可能にする。
論文 参考訳(メタデータ) (2020-05-18T21:56:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。