論文の概要: LoRA-Null: Low-Rank Adaptation via Null Space for Large Language Models
- arxiv url: http://arxiv.org/abs/2503.02659v1
- Date: Tue, 04 Mar 2025 14:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:19:55.999544
- Title: LoRA-Null: Low-Rank Adaptation via Null Space for Large Language Models
- Title（参考訳）: LoRA-Null:大規模言語モデルのためのNull空間による低ランク適応
- Authors: Pengwei Tang, Yong Liu, Dongjie Zhang, Xing Wu, Debing Zhang,
- Abstract要約: Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) のパラメータ効率の高い微調整手法である
本稿では,LoRA-Null,すなわちnull空間を経由した低ランク適応を提案し,事前学習した知識活性化のnull空間からアダプタを構築する。
また,LoRA-Nullは,優れた微調整性能を維持しつつ,事前学習した世界の知識を効果的に保存することを示した。
- 参考スコア（独自算出の注目度）: 11.77336760470197
- License:
- Abstract: Low-Rank Adaptation (LoRA) is the leading parameter-efficient fine-tuning method for Large Language Models (LLMs). However, the fine-tuned LLMs encounter the issue of catastrophic forgetting of the pre-trained world knowledge. To address this issue, inspired by theoretical insights of null space, we propose LoRA-Null, i.e., Low-Rank Adaptation via null space, which builds adapters initialized from the null space of the pre-trained knowledge activation. Concretely, we randomly collect a few data samples and capture their activations after passing through the LLM layer. We perform Singular Value Decomposition on the input activations to obtain their null space. We use the projection of the pre-trained weights onto the null space as the initialization for adapters. Experimental results demonstrate that this initialization approach can effectively preserve the original pre-trained world knowledge of the LLMs during fine-tuning. Additionally, if we freeze the values of the down-projection matrices during fine-tuning, it achieves even better preservation of the pre-trained world knowledge. LoRA-Null effectively preserves pre-trained world knowledge while maintaining strong fine-tuning performance, as validated by extensive experiments on LLaMA series (LLaMA2, LLaMA3, LLaMA3.1, and LLaMA3.2) across Code, Math, and Instruction Following tasks. We also provide a theoretical guarantee for the capacity of LoRA-Null to retain pre-trained knowledge. Code is in https://github.com/HungerPWAY/LoRA-Null.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、Large Language Models (LLM) のパラメータ効率の高い微調整手法である。
しかし、微調整されたLLMは、事前訓練された世界の知識を破滅的に忘れてしまうという問題に直面している。
この問題を解決するために、null空間の理論的な洞察から着想を得たLoRA-Null、すなわちnull空間による低ランク適応を提案し、事前学習された知識アクティベーションのnull空間から初期化されたアダプタを構築する。
具体的には、いくつかのデータサンプルをランダムに収集し、LCM層を通過した後、それらのアクティベーションをキャプチャする。
入力アクティベーションに対して特異値分解を行い、そのヌル空間を得る。
プリトレーニングされた重みの null 空間への投影をアダプタの初期化として利用する。
実験により, この初期化手法は, 微調整中に, LLMの学習済み世界知識を効果的に保存できることを示した。
さらに、微調整中に下降行列の値を凍結すると、事前学習された世界の知識の保存性がさらに向上する。
LoRA-Nullは、LLaMAシリーズ(LLaMA2、LLaMA3、LLaMA3.1、LLaMA3.2)のCode、Math、Instruction followingタスクに対する広範な実験によって検証されるように、優れた微調整性能を維持しながら、トレーニング済みの世界知識を効果的に保存する。
また,LoRA-Nullが事前学習した知識を保持する能力の理論的保証も提供する。
コードはhttps://github.com/HungerPWAY/LoRA-Nullにある。
関連論文リスト
- Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。
LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。
LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-02-20T18:37:32Z) - How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。
これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
論文 参考訳（メタデータ） (2025-02-20T12:31:03Z) - Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning [13.823795660384262]
低ランク部分空間内での完全な微調整を近似するLoRA Silver BulletあるいはLoRA-SBを提案する。
これらの結果から,低ランク部分空間において,性能を犠牲にすることなく完全な微調整をシミュレートできることが示唆された。
論文 参考訳（メタデータ） (2024-11-29T09:10:30Z) - BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models [13.660511750245245]
この研究は、バイアス継承に対抗するために設計された新しいPEFT法であるBias-Alleviating Low-Rank Adaptation (BA-LoRA)を導入している。
BA-LoRAは、(1)整合正則化器、(2)多様性正則化器、(3)特異値分解正則化器の3つの異なる正則化項を含む。
その結果、BA-LoRAはLoRAとその最先端の変種よりも優れていた。
論文 参考訳（メタデータ） (2024-08-08T16:13:26Z) - MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning [16.67302585857681]
重み行列の小さな特異成分のみを更新する単純なLLM微調整手法であるMiLoRAを提案する。
主行列は重要な知識を含むのに対し、マイナー行列はノイズ情報またはロングテール情報に対応することが観察された。
微調整の間、MiLoRAはラベル付きデータセットを学習するために最適化されていないサブスペースを最大限に活用する。
論文 参考訳（メタデータ） (2024-06-13T12:30:02Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳（メタデータ） (2024-05-30T09:42:54Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization [39.30090456724925]
監視された微調整は、下流タスクに大規模言語モデル(LLM)を適用する最も一般的な方法である。
完全な微調整には膨大な計算資源が必要である。
LoRAは最も広く使われている手法の1つであり、最適化過程は本質的に低次元であると仮定する。
論文 参考訳（メタデータ） (2024-02-25T16:43:41Z) - ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse
LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。
スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。
我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文 参考訳（メタデータ） (2024-02-06T08:45:51Z) - Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。
動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。
本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
論文 参考訳（メタデータ） (2023-10-13T07:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。