論文の概要: LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
- arxiv url: http://arxiv.org/abs/2507.18302v1
- Date: Thu, 24 Jul 2025 11:18:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:43.517584
- Title: LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
- Title（参考訳）: LoRA-Leak:LoRAファインチューニング言語モデルに対するメンバシップ推論攻撃
- Authors: Delong Ran, Xinlei He, Tianshuo Cong, Anyu Wang, Qi Li, Xiaoyun Wang,
- Abstract要約: Low-Rank Adaptation (LoRA)は、軽量な計算コストと顕著な性能のため、LMファインチューニングにおいて最も広く使われている。
LoRAが調整するパラメータの割合は比較的小さいため、LoRAの微調整データがMIA(Community Inference Attacks)に悪影響を及ぼすという誤解を招くかもしれない。
LMの微調整データセットに対するMIAの総合評価フレームワークであるLoRA-Leakを紹介する。
- 参考スコア（独自算出の注目度）: 20.2606384517711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language Models (LMs) typically adhere to a "pre-training and fine-tuning" paradigm, where a universal pre-trained model can be fine-tuned to cater to various specialized domains. Low-Rank Adaptation (LoRA) has gained the most widespread use in LM fine-tuning due to its lightweight computational cost and remarkable performance. Because the proportion of parameters tuned by LoRA is relatively small, there might be a misleading impression that the LoRA fine-tuning data is invulnerable to Membership Inference Attacks (MIAs). However, we identify that utilizing the pre-trained model can induce more information leakage, which is neglected by existing MIAs. Therefore, we introduce LoRA-Leak, a holistic evaluation framework for MIAs against the fine-tuning datasets of LMs. LoRA-Leak incorporates fifteen membership inference attacks, including ten existing MIAs, and five improved MIAs that leverage the pre-trained model as a reference. In experiments, we apply LoRA-Leak to three advanced LMs across three popular natural language processing tasks, demonstrating that LoRA-based fine-tuned LMs are still vulnerable to MIAs (e.g., 0.775 AUC under conservative fine-tuning settings). We also applied LoRA-Leak to different fine-tuning settings to understand the resulting privacy risks. We further explore four defenses and find that only dropout and excluding specific LM layers during fine-tuning effectively mitigate MIA risks while maintaining utility. We highlight that under the "pre-training and fine-tuning" paradigm, the existence of the pre-trained model makes MIA a more severe risk for LoRA-based LMs. We hope that our findings can provide guidance on data privacy protection for specialized LM providers.
- Abstract（参考訳）: 言語モデル(LM)は一般に「事前訓練と微調整」のパラダイムに準拠しており、様々な専門分野に対応するために、普遍的な事前訓練モデルを微調整することができる。
Low-Rank Adaptation (LoRA)は、軽量な計算コストと顕著な性能のため、LMファインチューニングにおいて最も広く使われている。
LoRAによって調整されるパラメータの割合は比較的小さいため、LoRAの微調整データはメンバーシップ推論アタック(MIA)に悪影響を及ぼすという誤解を招く可能性がある。
しかし,事前学習モデルを用いることで,既存のMIAでは無視される情報漏洩を発生させる可能性がある。
そこで本研究では,LMの微調整データセットに対するMIAの総合評価フレームワークであるLoRA-Leakを紹介する。
LoRA-Leakには、既存の10のMIAを含む15のメンバシップ推論攻撃と、事前訓練されたモデルをリファレンスとして活用した5つの改善MIAが含まれている。
実験では、LoRA-Leakを3つの人気のある自然言語処理タスクの3つの高度なLMに適用し、LORAベースの微調整LMがMIA(例えば、保守的な微調整環境下で0.775AUC)に対して脆弱であることを実証した。
また、さまざまな微調整設定にLoRA-Leakを適用して、結果として生じるプライバシーリスクを理解しました。
さらに4つの防御策を探求し、微調整中に特定のLM層を落下・除去するだけで、実用性を維持しつつMIAリスクを効果的に軽減できることを見出した。
事前学習と微調整」のパラダイムの下では、事前学習モデルの存在は、LORAベースのLMに対して、MIAをより深刻なリスクにする。
専門のLMプロバイダに対して,データプライバシ保護に関するガイダンスの提供が期待できる。
関連論文リスト
- How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。
これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
論文 参考訳（メタデータ） (2025-02-20T12:31:03Z) - A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。
LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。
マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-20T05:58:53Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts [37.43961020113692]
Low-rank Adaptation (LoRA) は、大規模基盤モデルを微調整するための強力な手法として登場した。
本稿では,LoRAモデルとMixture of Expertsモデルとの関連性を検討することによって,ロラの理論解析を行う。
論文 参考訳（メタデータ） (2025-02-05T10:03:09Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。
直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。
以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
論文 参考訳（メタデータ） (2024-10-30T15:23:44Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。
特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。
我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - Safe LoRA: the Silver Lining of Reducing Safety Risks when Fine-tuning Large Language Models [51.20476412037321]
提案するSafe LoRAは,選択した層からのLoRA重みの投影を安全に整合した部分空間に導入することにより,オリジナルのLoRA実装に対する単純なワンライナーパッチである。
我々の実験は、純粋に悪意のあるデータに対して微調整を行う場合、Safe LoRAは元のアライメントモデルと同様の安全性を保っていることを示した。
論文 参考訳（メタデータ） (2024-05-27T05:04:05Z) - Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-03-18T23:20:08Z) - LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。
LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。
LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文 参考訳（メタデータ） (2023-05-28T15:15:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。