論文の概要: Frugal Incremental Generative Modeling using Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2505.22408v1
• Date: Wed, 28 May 2025 14:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.655988
• Title: Frugal Incremental Generative Modeling using Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダを用いたFrugal Incremental Generative Modeling
• Authors: Victor Enescu, Hichem Sahbi,
• Abstract要約: 我々は変分オートエンコーダ(VAE)に基づく新しいリプレイフリーインクリメンタル学習モデルを開発する。 提案手法では,パラメータ数に非(あるいは少なくとも制御された)成長を伴わない静的と動的の2つの変数について検討した。
• 参考スコア（独自算出の注目度）: 4.7881638074901955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual or incremental learning holds tremendous potential in deep learning with different challenges including catastrophic forgetting. The advent of powerful foundation and generative models has propelled this paradigm even further, making it one of the most viable solution to train these models. However, one of the persisting issues lies in the increasing volume of data particularly with replay-based methods. This growth introduces challenges with scalability since continuously expanding data becomes increasingly demanding as the number of tasks grows. In this paper, we attenuate this issue by devising a novel replay-free incremental learning model based on Variational Autoencoders (VAEs). The main contribution of this work includes (i) a novel incremental generative modelling, built upon a well designed multi-modal latent space, and also (ii) an orthogonality criterion that mitigates catastrophic forgetting of the learned VAEs. The proposed method considers two variants of these VAEs: static and dynamic with no (or at most a controlled) growth in the number of parameters. Extensive experiments show that our method is (at least) an order of magnitude more ``memory-frugal'' compared to the closely related works while achieving SOTA accuracy scores.
• Abstract（参考訳）: 継続的なあるいは漸進的な学習は、破滅的な忘れ込みなど、さまざまな課題を伴うディープラーニングにおいて、大きな可能性を秘めている。 強力な基礎と生成モデルの出現により、このパラダイムはさらに推進され、これらのモデルを訓練するための最も実行可能なソリューションの1つとなった。 しかし、継続する問題の1つは、特にリプレイベースのメソッドによるデータの量の増加にある。 この成長は、タスクの数が増加するにつれて、データの継続的な拡張がますます要求されるようになり、スケーラビリティに関する課題をもたらす。 本稿では,変分オートエンコーダ(VAE)に基づく新しいリプレイフリーインクリメンタルラーニングモデルを開発することにより,この問題を緩和する。 この作品の主な貢献は (i)よく設計された多モード潜在空間上に構築された新規な漸進的生成モデル、及び (II)学習されたVAEの破滅的な忘れを緩和する直交基準。 提案手法では,パラメータ数に非(あるいは少なくとも制御された)成長を伴わない静的と動的の2つの変数について検討した。 実験結果から,SOTAの精度を向上しながら,本手法は(少なくとも)「メモリ・フルガル」の桁数が大きいことが判明した。

関連論文リスト

• Parameter-Efficient Continual Fine-Tuning: A Survey [5.59258786465086]
  AIの次のブレークスルーは、進化する環境への効率的な適応を可能にすることです。 これらの大規模モデルを効率的に適応させる方法の1つが知られている。 PEFT(Efficient Fine-Tuning)
  論文  参考訳（メタデータ） (2025-04-18T17:51:51Z)
• ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning [24.8038863056542]
  大規模言語モデル(LLM)は、幅広い複雑なタスクに対処する際、顕著な能力を示した。 その膨大な計算とメモリコストは、これらのモデルをリソース制約されたデバイスにデプロイする際の大きな課題を提起する。 本研究では,高密度モデルに一定数のアクティブパラメータを保持するために,異なる動的プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T20:01:42Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• Data Augmentation with Variational Autoencoder for Imbalanced Dataset [1.2289361708127877]
  不均衡分布からの学習は予測モデリングにおいて大きな課題となる。 VAEとスムーズなブートストラップを組み合わせた新しいデータ生成手法を開発し,IRの課題に対処する。
  論文  参考訳（メタデータ） (2024-12-09T22:59:03Z)
• Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
  大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。 これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。 学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
  論文  参考訳（メタデータ） (2024-12-09T21:36:10Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• A Multi-step Loss Function for Robust Learning of the Dynamics in Model-based Reinforcement Learning [10.940666275830052]
  モデルに基づく強化学習では、ほとんどのアルゴリズムはデータに基づいて学習したダイナミクスの一段階モデルからの軌道のシミュレーションに依存している。 我々は、多段階の目標を用いてワンステップモデルを訓練することでこの問題に対処する。 この新たな損失は、データが騒々しいときに特に有効であることが分かっています。
  論文  参考訳（メタデータ） (2024-02-05T16:13:00Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。