Fugu-MT 論文翻訳(概要): CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

論文の概要: CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation

arxiv url: http://arxiv.org/abs/2408.14572v1
Date: Mon, 26 Aug 2024 18:42:59 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 17:40:47.421212
Title: CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
Title（参考訳）: CURLoRA: 安定したLCM連続微調整と破滅的埋立抑制
Authors: Muhammad Fawi,
Abstract要約: CURLoRAは、大規模な言語モデルを微調整するための新しいアプローチである。破滅的な忘れ込みを軽減し、訓練可能なパラメータの数を減らします。モデルの安定性とタスク間のパフォーマンスを維持しながら、トレーニング可能なパラメータの数を著しく削減します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces CURLoRA, a novel approach to fine-tuning large language models (LLMs) that leverages CUR matrix decomposition in the context of Low-Rank Adaptation (LoRA). Our method addresses two critical challenges in LLM fine-tuning: mitigating catastrophic forgetting during continual learning and reducing the number of trainable parameters. We propose a unique modification to the CUR decomposition process, utilizing inverted probabilities for column and row selection which acts as an implicit regularization, and initializing the $U$ matrix as a zero matrix, and only fine-tuning it. We demonstrate through experiments on multiple datasets that CURLoRA outperforms standard LoRA in mitigating catastrophic forgetting. It maintains model stability and performance across tasks while significantly reducing the number of trainable parameters. Our results show that CURLoRA achieves very good and stable task accuracy while maintaining base model's perplexity scores fixed compared to LoRA upon continual fine-tuning, particularly in scenarios with limited data.
Abstract（参考訳）: 本稿では,Low-Rank Adaptation (LoRA) の文脈で CUR 行列分解を利用した CURLoRA を提案する。 LLMの微調整における2つの重要な課題に対処する。連続学習における破滅的忘れの軽減と、トレーニング可能なパラメータの削減である。カラム選択と行選択の逆確率を暗黙の正規化として利用し、U$行列をゼロ行列として初期化し、それを微調整する。我々は、CURLoRAが破滅的な忘れを緩和するために標準のLoRAより優れている複数のデータセットの実験を通して実証する。モデルの安定性とタスク間のパフォーマンスを維持しながら、トレーニング可能なパラメータの数を著しく削減します。この結果から, CURLoRAは, 連続的な微調整において, 特にデータ制限のあるシナリオにおいて, 基礎モデルの難易度スコアをLoRAと比較しながら, 極めて良好で安定したタスク精度を達成できることが示唆された。

関連論文リスト

RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。しかし、ウェイト更新の低ランクな性質は、本質的に微調整されたモデルの表現力を制限している。本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文参考訳（メタデータ） (2025-02-03T01:59:45Z)
S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
論文参考訳（メタデータ） (2025-01-21T11:42:09Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
論文参考訳（メタデータ） (2024-10-22T08:27:23Z)
LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models [21.889177019111525]
数百万から数十億のパラメータを持つ大規模モデルをスクラッチからトレーニングすると、かなりの計算コストが発生する。低ランク適応 (LoRA) を用いて, 勾配に基づく特定のタスクに対して, パラメータ数の削減のみを適応させる。我々は、十分に確立されたコンピュータビジョンと言語モデルでうまく機能する堅牢なアプローチを提案する。
論文参考訳（メタデータ） (2024-10-15T12:41:31Z)
Is Parameter Collision Hindering Continual Learning in LLMs? [50.57658782050275]
大規模言語モデル(LLM)は、複数のタスクを逐次学習する際に破滅的な忘れに悩まされることが多い。 CL問題に対処する上で,非衝突パラメータの構築はより重要な相互依存因子であることを示す。低衝突速度を利用してLCMのCLを向上する単純なアプローチである非衝突低ランク適応(N-LoRA)を提案する。
論文参考訳（メタデータ） (2024-10-14T05:54:11Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文参考訳（メタデータ） (2021-04-13T23:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。