論文の概要: SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.18168v1
• Date: Tue, 25 Feb 2025 13:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:21.217821
• Title: SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models
• Title（参考訳）: SECURA:Sigmoid-Enhanced CUR Decomposition with uninterrupted Retention and Low-Rank Adaptation in Large Language Models
• Authors: Zhang Yuxuan, Li Ruizhe,
• Abstract要約: SECURAは、パラメータ効率の良い微調整(PEFT)変異体であり、微調整性能を改善しながら破滅的な忘れを軽減している。 その結果,SECURAは4つの質問質問(MCQ)タスクで3.59%,5つの質問回答(QA)タスクで2.51%の改善を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: With the rapid development of large language models (LLMs), fully fine-tuning (FT) these models has become increasingly impractical due to the high computational demands. Additionally, FT can lead to catastrophic forgetting. As an alternative, Low-Rank Adaptation (LoRA) has been proposed, which fine-tunes only a small subset of parameters, achieving similar performance to FT while significantly reducing resource requirements. However, since LoRA inherits FT's design, the issue of catastrophic forgetting remains. To address these challenges, we propose SECURA: Sigmoid-Enhanced CUR Decomposition LoRA, a novel parameter-efficient fine-tuning (PEFT) variant that mitigates catastrophic forgetting while improving fine-tuning performance. Our method introduces a new normalization technique, SigNorm, to enhance parameter retention and overall performance. SECURA has been evaluated on a variety of tasks, including mathematical problem-solving (GSM8K), challenging question-answering (CNNDM), translation (NewsDE), and complex multiple-choice reasoning (LogiQA). Experimental results show that SECURA achieves an average fine-tuning improvement of 3.59% across four multiple-choice question (MCQ) tasks and a 2.51% improvement across five question-answering (QA) tasks on models such as Gemma2 2b, Qwen2 1.5b, Qwen 2 7b, Llama3 8b, and Llama3.1 8b, compared to DoRA. Moreover, SECURA demonstrates superior knowledge retention capabilities, maintaining more than 70% accuracy on basic LLM knowledge across 16 continual learning tests, outperforming Experience Replay (ER), Sequential Learning (SEQ), EWC, I-LoRA, and CUR-LoRA.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な発展に伴い、これらのモデルは高い計算要求のために実用的ではないものになりつつある。 さらに、FTは破滅的な忘れを招きかねない。 代替としてLoRA(Lolow-Rank Adaptation)が提案され、パラメータの小さなサブセットのみを微調整し、FTに類似した性能を実現し、リソース要求を大幅に削減した。 しかし、LoRAはFTの設計を継承しているため、破滅的な忘れ物の問題が残る。 これらの課題に対処するため,Sigmoid-Enhanced CUR Decomposition LoRAを提案する。 本手法では,パラメータ保持と全体的な性能を向上させるため,新しい正規化手法であるSigNormを導入する。 SECURAは、数学的問題解決(GSM8K)、挑戦的質問回答(CNNDM)、翻訳(NewsDE)、複雑な多重選択推論(LogiQA)など、様々なタスクで評価されている。 実験結果から,SECURAは,Multiple-choice question (MCQ) タスクで3.59%,Gemma2 2b,Qwen2 1.5b,Qwen2 7b,Llama3 8b,Llama3.1 8bなどのモデルで2.51%の改善が得られた。 さらに、SECURAは優れた知識保持能力を示し、16の連続学習テストにおける基本的なLLM知識の70%以上の精度を維持し、経験再現(ER)、逐次学習(SEQ)、EWC、I-LoRA、CUR-LoRAを達成している。

関連論文リスト

• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
  Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。 LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。 我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-28T04:00:42Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Efficient In-Domain Question Answering for Resource-Constrained Environments [0.07499722271664146]
  Retrieval Augmented Generation (RAG)は、事前訓練された大規模言語モデル(LLM)に外部知識を統合する方法である。 近年の研究では、これらの問題に対処するために微調整を使うことが成功している。 本研究では,RAFTとLoRAを組み合わせることで,微調整やストレージの要求を低減し,推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-26T08:55:21Z)
• BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models [13.660511750245245]
  この研究は、バイアス継承に対抗するために設計された新しいPEFT法であるBias-Alleviating Low-Rank Adaptation (BA-LoRA)を導入している。 BA-LoRAは、(1)整合正則化器、(2)多様性正則化器、(3)特異値分解正則化器の3つの異なる正則化項を含む。 その結果、BA-LoRAはLoRAとその最先端の変種よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-08T16:13:26Z)
• MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
  本稿では,新しいPEFT手法であるMoELoRAを紹介する。 数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。 MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T09:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。