論文の概要: Lifelong Mixture of Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2107.04694v1
• Date: Fri, 9 Jul 2021 22:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 10:47:32.108396
• Title: Lifelong Mixture of Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダの寿命混合
• Authors: Fei Ye and Adrian G. Bors
• Abstract要約: 本稿では,専門家の終末から終末までの学習混合物を提案する。 混合システムのエキスパートは、個々の成分証拠の混合を最小限にすることで、共同で訓練される。 モデルは、これらが以前学んだものと似ている場合に、新しいタスクを素早く学習することができる。
• 参考スコア（独自算出の注目度）: 15.350366047108103
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we propose an end-to-end lifelong learning mixture of experts. Each expert is implemented by a Variational Autoencoder (VAE). The experts in the mixture system are jointly trained by maximizing a mixture of individual component evidence lower bounds (MELBO) on the log-likelihood of the given training samples. The mixing coefficients in the mixture, control the contributions of each expert in the goal representation. These are sampled from a Dirichlet distribution whose parameters are determined through non-parametric estimation during lifelong learning. The model can learn new tasks fast when these are similar to those previously learnt. The proposed Lifelong mixture of VAE (L-MVAE) expands its architecture with new components when learning a completely new task. After the training, our model can automatically determine the relevant expert to be used when fed with new data samples. This mechanism benefits both the memory efficiency and the required computational cost as only one expert is used during the inference. The L-MVAE inference model is able to perform interpolation in the joint latent space across the data domains associated with different tasks and is shown to be efficient for disentangled learning representation.
• Abstract（参考訳）: 本稿では,専門家による終末から終末までの学習の組み合わせを提案する。 各専門家は変分オートエンコーダ(VAE)によって実装される。 混合システムのエキスパートは、与えられたトレーニングサンプルのログライクな状態において、個々のコンポーネントエビデンスローバウンド(MELBO)の混合物を最大化することによって共同で訓練される。 混合における混合係数は、目標表現における各専門家の貢献を制御する。 これらは、生涯学習中の非パラメトリック推定によってパラメータが決定されるディリクレ分布からサンプリングされる。 モデルは、これらが以前学んだものと似ている場合に、新しいタスクを素早く学習することができる。 VAE(L-MVAE)のLifelong混合は、完全に新しいタスクを学ぶ際に、アーキテクチャを新しいコンポーネントで拡張する。 トレーニング後、我々のモデルは、新しいデータサンプルを投入する際に使用する関連する専門家を自動的に決定できる。 このメカニズムは、推論中に専門家が1人しか使わないため、メモリ効率と計算コストの両方に効果がある。 L-MVAE推論モデルは、異なるタスクに関連するデータ領域にまたがる結合潜在空間において補間を行うことができ、非絡み合いの学習表現に効率的であることが示されている。

関連論文リスト

• Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging [36.0133566024214]
  Upcycling Instruction Tuning (UpIT) は、密度の高い事前学習されたモデルをMoE命令モデルにチューニングするためのデータ効率のよいアプローチである。 MoEモデルの各専門家が期待通りに機能するように、我々は、ルータを事前最適化するために、各専門家が抽出する少数のシードデータを選択する。
  論文  参考訳（メタデータ） (2024-10-02T14:48:22Z)
• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process [15.350366047108103]
  生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。 本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。 理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
  論文  参考訳（メタデータ） (2021-08-25T21:06:20Z)
• Federated Mixture of Experts [94.25278695272874]
  FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。 類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。