論文の概要: FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning

• arxiv url: http://arxiv.org/abs/2504.08823v1
• Date: Wed, 09 Apr 2025 19:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:53.656838
• Title: FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning
• Title（参考訳）: FM-LoRA:連続学習のための低ランクメタプロンプト
• Authors: Xiaobing Yu, Jin Yang, Xiao Wu, Peijie Qiu, Xiaofeng Liu,
• Abstract要約: 連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。 既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。 動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 19.068489119024388
• License:
• Abstract: How to adapt a pre-trained model continuously for sequential tasks with different prediction class labels and domains and finally learn a generalizable model across diverse tasks is a long-lasting challenge. Continual learning (CL) has emerged as a promising approach to leverage pre-trained models (e.g., Transformers) for sequential tasks. While many existing CL methods incrementally store additional learned structures, such as Low-Rank Adaptation (LoRA) adapters or prompts and sometimes even preserve features from previous samples to maintain performance. This leads to unsustainable parameter growth and escalating storage costs as the number of tasks increases. Moreover, current approaches often lack task similarity awareness, which further hinders the models ability to effectively adapt to new tasks without interfering with previously acquired knowledge. To address these challenges, we propose FM-LoRA, a novel and efficient low-rank adaptation method that integrates both a dynamic rank selector (DRS) and dynamic meta-prompting (DMP). This framework allocates model capacity more effectively across tasks by leveraging a shared low-rank subspace critical for preserving knowledge, thereby avoiding continual parameter expansion. Extensive experiments on various CL benchmarks, including ImageNet-R, CIFAR100, and CUB200 for class-incremental learning (CIL), and DomainNet for domain-incremental learning (DIL), with Transformers backbone demonstrate that FM-LoRA effectively mitigates catastrophic forgetting while delivering robust performance across a diverse range of tasks and domains.
• Abstract（参考訳）: 予測クラスラベルとドメインの異なるシーケンシャルなタスクに対して、トレーニング済みのモデルを継続的に適用し、最終的に様々なタスクにまたがる一般化可能なモデルを学習する方法は、長期にわたる課題である。 連続学習(CL)は、逐次的なタスクに事前訓練されたモデル(例えば、トランスフォーマー)を活用するための有望なアプローチとして登場した。 既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に保存するが、パフォーマンスを維持するために以前のサンプルからの機能を保持することもある。 これは、タスク数が増加するにつれて、持続不可能なパラメータの成長とストレージコストのエスカレーションにつながる。 さらに、現在のアプローチではタスク類似性に対する認識が欠如している場合が多いため、モデルが以前取得した知識に干渉することなく、新しいタスクに効果的に適応する能力を妨げている。 これらの課題に対処するために,動的ランクセレクタ (DRS) と動的メタプロンプト (DMP) を統合した,新規で効率的な低ランク適応手法であるFM-LoRAを提案する。 このフレームワークは、知識の保存に不可欠な共有低ランクのサブスペースを活用することにより、タスク間でのモデル容量をより効果的に割り当て、連続的なパラメータ展開を避ける。 ImageNet-R, CIFAR100, CUB200, クラスインクリメンタルラーニング(CIL), ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング)(ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング)(ドメインインクリメントラーニング)(DIL)など,さまざまなCLベンチマークに対する大規模な実験は,FM-LoRAがさまざまなタスクやドメインにわたって堅牢なパフォーマンスを提供しながら,破滅的な忘れを効果的に緩和することを示した。

関連論文リスト

• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Dual Low-Rank Adaptation for Continual Learning with Pre-Trained Models [38.97142043836567]
  継続学習(CL)は、視覚変換器(ViT)が時間とともに新しいタスクを学習できるようにすることを目的としている。 破滅的な忘れ物は いまだに難題です DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。