論文の概要: Lifelong Mixture of Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2107.04694v1
- Date: Fri, 9 Jul 2021 22:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 10:47:32.108396
- Title: Lifelong Mixture of Variational Autoencoders
- Title(参考訳): 変分オートエンコーダの寿命混合
- Authors: Fei Ye and Adrian G. Bors
- Abstract要約: 本稿では,専門家の終末から終末までの学習混合物を提案する。
混合システムのエキスパートは、個々の成分証拠の混合を最小限にすることで、共同で訓練される。
モデルは、これらが以前学んだものと似ている場合に、新しいタスクを素早く学習することができる。
- 参考スコア(独自算出の注目度): 15.350366047108103
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we propose an end-to-end lifelong learning mixture of experts.
Each expert is implemented by a Variational Autoencoder (VAE). The experts in
the mixture system are jointly trained by maximizing a mixture of individual
component evidence lower bounds (MELBO) on the log-likelihood of the given
training samples. The mixing coefficients in the mixture, control the
contributions of each expert in the goal representation. These are sampled from
a Dirichlet distribution whose parameters are determined through non-parametric
estimation during lifelong learning. The model can learn new tasks fast when
these are similar to those previously learnt. The proposed Lifelong mixture of
VAE (L-MVAE) expands its architecture with new components when learning a
completely new task. After the training, our model can automatically determine
the relevant expert to be used when fed with new data samples. This mechanism
benefits both the memory efficiency and the required computational cost as only
one expert is used during the inference. The L-MVAE inference model is able to
perform interpolation in the joint latent space across the data domains
associated with different tasks and is shown to be efficient for disentangled
learning representation.
- Abstract(参考訳): 本稿では,専門家による終末から終末までの学習の組み合わせを提案する。
各専門家は変分オートエンコーダ(VAE)によって実装される。
混合システムのエキスパートは、与えられたトレーニングサンプルのログライクな状態において、個々のコンポーネントエビデンスローバウンド(MELBO)の混合物を最大化することによって共同で訓練される。
混合における混合係数は、目標表現における各専門家の貢献を制御する。
これらは、生涯学習中の非パラメトリック推定によってパラメータが決定されるディリクレ分布からサンプリングされる。
モデルは、これらが以前学んだものと似ている場合に、新しいタスクを素早く学習することができる。
VAE(L-MVAE)のLifelong混合は、完全に新しいタスクを学ぶ際に、アーキテクチャを新しいコンポーネントで拡張する。
トレーニング後、我々のモデルは、新しいデータサンプルを投入する際に使用する関連する専門家を自動的に決定できる。
このメカニズムは、推論中に専門家が1人しか使わないため、メモリ効率と計算コストの両方に効果がある。
L-MVAE推論モデルは、異なるタスクに関連するデータ領域にまたがる結合潜在空間において補間を行うことができ、非絡み合いの学習表現に効率的であることが示されている。
関連論文リスト
- Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳(メタデータ) (2024-02-08T03:46:32Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2022-12-15T18:59:52Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳(メタデータ) (2022-09-30T15:01:35Z) - Reproducible, incremental representation learning with Rosetta VAE [0.0]
変分オートエンコーダは、高次元データから低次元構造を蒸留する最も一般的な方法の一つである。
我々は、以前に学習した表現を蒸留し、新しいモデルを再現し、事前の結果に基づいて構築する手法であるRosetta VAEを紹介する。
R-VAEは、VAEや$beta$-VAEと同様にデータを再構成し、連続的なトレーニング環境でターゲット潜在空間の回復において、両方の手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-01-13T20:45:35Z) - Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet
Process [15.350366047108103]
生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。
本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。
理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
論文 参考訳(メタデータ) (2021-08-25T21:06:20Z) - Federated Mixture of Experts [94.25278695272874]
FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。
類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
論文 参考訳(メタデータ) (2021-07-14T14:15:24Z) - Automatic Differentiation Variational Inference with Mixtures [4.995383193706478]
本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。
我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
論文 参考訳(メタデータ) (2020-03-03T18:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。