論文の概要: Deep Generative Continual Learning using Functional LoRA: FunLoRA

• arxiv url: http://arxiv.org/abs/2510.02631v1
• Date: Fri, 03 Oct 2025 00:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.214366
• Title: Deep Generative Continual Learning using Functional LoRA: FunLoRA
• Title（参考訳）: 関数型LoRAを用いたDeep Generative Continual Learning: FunLoRA
• Authors: Victor Enescu, Hichem Sahbi,
• Abstract要約: 共通の戦略は、忘れを和らげるために、生成モデルを自身の合成データで再訓練することである。 低階適応(LoRA)に基づく生成モデルのための新しい、より表現力のある条件付け機構を提案する。 提案手法は,拡散モデルに基づく先行技術結果を上回るパラメータ効率細調整(PEFT)手法である。
• 参考スコア（独自算出の注目度）: 12.547444644243543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual adaptation of deep generative models holds tremendous potential and critical importance, given their rapid and expanding usage in text and vision based applications. Incremental training, however, remains highly challenging due to catastrophic forgetting phenomenon, which makes it difficult for neural networks to effectively incorporate new knowledge. A common strategy consists in retraining the generative model on its own synthetic data in order to mitigate forgetting. Yet, such an approach faces two major limitations: (i) the continually increasing training time eventually becomes intractable, and (ii) reliance on synthetic data inevitably leads to long-term performance degradation, since synthetic samples lack the richness of real training data. In this paper, we attenuate these issues by designing a novel and more expressive conditioning mechanism for generative models based on low rank adaptation (LoRA), that exclusively employs rank 1 matrices, whose reparametrized matrix rank is functionally increased using carefully selected functions -- and dubbed functional LoRA: FunLoRA. Using this dynamic conditioning, the generative model is guaranteed to avoid catastrophic forgetting and needs only to be trained on data from the current task. Extensive experiments using flow-matching based models trained from scratch, showcase that our proposed parameter-efficient fine-tuning (PEFT) method surpasses prior state-of-the-art results based on diffusion models, reaching higher classification accuracy scores, while only requiring a fraction of the memory cost and sampling time.
• Abstract（参考訳）: 深層生成モデルの継続的な適応は、テキストや視覚ベースのアプリケーションで急速に使われるようになったことを考えると、大きな可能性と重要な重要性を持っている。 しかし、ニューラルネットワークが新たな知識を効果的に組み込むのが難しくなる、破滅的な忘れ現象のため、インクリメンタルトレーニングは依然として非常に困難である。 共通の戦略は、忘れを和らげるために、生成モデルを自身の合成データで再訓練することである。 しかし、このようなアプローチには2つの大きな制限がある。 一 修業時間が長くなると、やがて難易度が上がり、 (II) 合成データへの依存は, 必然的に長期の劣化を招き, 合成サンプルは実際の訓練データの豊かさを欠いている。 本稿では,低階適応 (LoRA) に基づく生成モデルに対する新しい表現的条件付け機構を設計することにより,これらの問題を緩和する。 この動的条件付けを用いることで、生成モデルは破滅的な忘れ込みを避けることが保証され、現在のタスクのデータに基づいてのみ訓練する必要がある。 スクラッチからトレーニングしたフローマッチングベースモデルを用いた広範囲な実験により,提案手法は拡散モデルに基づく先行技術結果を上回っ,高い分類精度のスコアを達成し,メモリコストとサンプリング時間の一部を必要としていることがわかった。

関連論文リスト

• ForTIFAI: Fending Off Recursive Training Induced Failure for AI Models [13.096745830570944]
  我々は、自己生成データにおけるモデル過信を、崩壊の鍵となる要因として認識する。 我々はTrncated Cross Entropy (TCE)と呼ばれる新しい損失関数を導入する。 これらの結果から、損失関数の設計は、生成モデルの品質を維持するためのシンプルだが強力なツールであることが示された。
  論文  参考訳（メタデータ） (2025-09-10T20:06:51Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
  本研究は,時系列予測タスクに対するFM,Large Language Modelsの直接的な適応手法であるLLIAMを提案する。 LLIAMとRecurrent Neural NetworksやTemporal Convolutional Networks、LLMベースのTimeLLMなど、さまざまな最先端DLアルゴリズムのパフォーマンスの比較を行った。 本研究の結果はLLIAMの有効性を実証し, この単純かつ汎用的なアプローチは, 複雑な修正を加える必要がなくなることなく, 有能な結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:01Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。