論文の概要: Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
- arxiv url: http://arxiv.org/abs/2506.20856v1
- Date: Wed, 25 Jun 2025 22:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 19:53:09.902279
- Title: Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
- Title（参考訳）: リーントレーニングと低リーク: LoRA を用いた LLM ファインチューニングにおける記憶の再考
- Authors: Fei Wang, Baochun Li,
- Abstract要約: 大規模言語モデル(LLM)のメモリ化は、データ抽出攻撃に対して脆弱である。
我々は、微調整における記憶の再検討を行い、異なる微調整戦略にまたがる以前の発見から驚くほどのばらつきを明らかにした。
よりゆるやかな類似性に基づく暗記法を用いて,LoRAは完全微調整に比べて暗記リスクを著しく低減することを示した。
- 参考スコア（独自算出の注目度）: 35.64232606410778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memorization in large language models (LLMs) makes them vulnerable to data extraction attacks. While pre-training memorization has been extensively studied, fewer works have explored its impact in fine-tuning, particularly for LoRA fine-tuning, a widely adopted parameter-efficient method. In this work, we re-examine memorization in fine-tuning and uncover a surprising divergence from prior findings across different fine-tuning strategies. Factors such as model scale and data duplication, which strongly influence memorization in pre-training and full fine-tuning, do not follow the same trend in LoRA fine-tuning. Using a more relaxed similarity-based memorization metric, we demonstrate that LoRA significantly reduces memorization risks compared to full fine-tuning, while still maintaining strong task performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)のメモリ化は、データ抽出攻撃に対して脆弱である。
事前学習の記憶は広く研究されているが、特にパラメータ効率のよいLoRAファインチューニングにおいて、微調整におけるその影響を探求する研究は少ない。
本研究では, 微調整における記憶の再検討を行い, 異なる微調整戦略にまたがる事前発見から驚くほどのばらつきを明らかにする。
モデルスケールやデータ重複などの要因は、事前学習や完全な微調整において記憶に強く影響を及ぼすが、LoRAの微調整では同様の傾向を辿らない。
よりゆるやかな類似性に基づく記憶度測定を用いて、LoRAはタスク性能を保ちながら、完全な微調整に比べて記憶リスクを著しく低減することを示した。
関連論文リスト
- SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA [15.095035820064028]
Subspace-Constrained LoRA (SC-LoRA)は、効率的な微調整と知識保存のトレードオフをナビゲートするために設計された新しいLoRAフレームワークである。
我々の実験では、SC-LoRAは優れた微調整性能を実現するのに成功し、知識の忘れを著しく減らした。
論文 参考訳（メタデータ） (2025-05-29T17:55:21Z) - How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。
これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
論文 参考訳（メタデータ） (2025-02-20T12:31:03Z) - Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs [30.13601588296921]
フェデレートラーニング(FL)は、クライアント間の直接的なデータ露光を回避する共同トレーニングの一般的なパラダイムである。
敵対的かつ正直なクライアントは、単にターゲットのプロンプトを通じて、他の参加者のトレーニングデータを復元することができる。
低ランク適応(LoRA)はFL中の記憶を最大10倍に減少させる。
論文 参考訳（メタデータ） (2025-02-07T17:04:39Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。
特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。
我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning [31.088229461632206]
大規模言語モデル(LLM)は大規模トレーニングにおいて重要な障害となっている。
ローランド適応(LoRA)はこの問題を軽減するために提案されている。
微調整作業におけるLoRAの層状特性について検討し、予期せぬが一貫した重みノルムの歪さを観察する。
私たちはLayerwise Importance Sampled AdamW (LISA)と名付けた。
論文 参考訳（メタデータ） (2024-03-26T17:55:02Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
私たちはその可能性を調査する。
多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング
ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。
以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
論文 参考訳（メタデータ） (2023-11-14T22:32:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。