論文の概要: CoLoR-GAN: Continual Few-Shot Learning with Low-Rank Adaptation in Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2510.13869v1
• Date: Mon, 13 Oct 2025 12:13:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.498536
• Title: CoLoR-GAN: Continual Few-Shot Learning with Low-Rank Adaptation in Generative Adversarial Networks
• Title（参考訳）: CoLoR-GAN: 生成逆数ネットワークにおける低ランク適応による連続的なFew-Shot学習
• Authors: Munsif Ali, Leonardo Rossi, Massimo Bertozzi,
• Abstract要約: CoLoR-GANはFSとCLを一緒に扱うように設計されたフレームワークである。 我々は,本モデルがSOTA性能に到達しながら,膨大なリソースを削減できることを示す。
• 参考スコア（独自算出の注目度）: 2.182044445509816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) in the context of Generative Adversarial Networks (GANs) remains a challenging problem, particularly when it comes to learn from a few-shot (FS) samples without catastrophic forgetting. Current most effective state-of-the-art (SOTA) methods, like LFS-GAN, introduce a non-negligible quantity of new weights at each training iteration, which would become significant when considering the long term. For this reason, this paper introduces \textcolor{red}{\textbf{\underline{c}}}ontinual few-sh\textcolor{red}{\textbf{\underline{o}}}t learning with \textcolor{red}{\textbf{\underline{lo}}}w-\textcolor{red}{\textbf{\underline{r}}}ank adaptation in GANs named CoLoR-GAN, a framework designed to handle both FS and CL together, leveraging low-rank tensors to efficiently adapt the model to target tasks while reducing even more the number of parameters required. Applying a vanilla LoRA implementation already permitted us to obtain pretty good results. In order to optimize even further the size of the adapters, we challenged LoRA limits introducing a LoRA in LoRA (LLoRA) technique for convolutional layers. Finally, aware of the criticality linked to the choice of the hyperparameters of LoRA, we provide an empirical study to easily find the best ones. We demonstrate the effectiveness of CoLoR-GAN through experiments on several benchmark CL and FS tasks and show that our model is efficient, reaching SOTA performance but with a number of resources enormously reduced. Source code is available on \href{https://github.com/munsifali11/CoLoR-GAN}{Github.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)の文脈における連続学習(CL)は、特に大惨な忘れをせずに、数ショット(FS)サンプルから学ぶことに関して、依然として難しい問題である。 LFS-GANのような現在の最も効果的なSOTA(State-of-the-art)手法は、長期的考察において重要となる、トレーニングイテレーション毎に、無視できない量の新しい重みを導入している。 そこで本稿では, FS と CL を共に扱うように設計されたフレームワークである CoLoR-GAN を GAN に導入し,低ランクテンソルを活用して,要求されるパラメータの数をさらに削減しながら,モデルのターゲットタスクへの適応を図る。 バニラLoRAの実装を適用することで、かなり良い結果が得られました。 アダプタのサイズをさらに最適化するために,LoRAにLoRA(LLoRA)技術を導入し,畳み込み層にLoRAを導入した。 最後に、LoRAのハイパーパラメータの選択に関連する臨界性を認識し、最適なパラメータを容易に見つけるための実証的研究を行う。 我々は,いくつかのベンチマークCLおよびFSタスクの実験を通して,CoLoR-GANの有効性を実証し,我々のモデルがSOTA性能に到達するが,多くのリソースを削減できることを示す。 ソースコードは \href{https://github.com/munsifali11/CoLoR-GAN}{Github で公開されている。

関連論文リスト

• CLoRA: Parameter-Efficient Continual Learning with Low-Rank Adaptation [14.2843647693986]
  Low-Rank Adaptation (LoRA)は、クラスインクリメンタルセマンティックセグメンテーションのためのパラメータ効率の高い微調整法である。 CLoRAは、トレーニングのハードウェア要件を大幅に削減し、デプロイ後のリソース制約のある環境でのCLに適している。
  論文  参考訳（メタデータ） (2025-07-26T09:36:05Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• The Expressive Power of Low-Rank Adaptation [11.371811534310078]
  パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。 本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。 トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T16:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。