論文の概要: Impact of Fine-Tuning Methods on Memorization in Large Language Models

• arxiv url: http://arxiv.org/abs/2507.00258v1
• Date: Mon, 30 Jun 2025 20:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.845049
• Title: Impact of Fine-Tuning Methods on Memorization in Large Language Models
• Title（参考訳）: 大規模言語モデルの記憶に及ぼす微調整法の影響
• Authors: Jie Hou, Chuxiong Wu, Lannan Luo, Qiang Zeng,
• Abstract要約: 我々は、人気のある微調整アプローチを分類し、MIA(the Lens of Membering Inference attack)による記憶への影響を評価する。 その結果,パラメータベースファインチューニングと比較して,プロンプトベースファインチューニングはMIAの脆弱性を低く保ち,競争性能が向上することがわかった。 これらの結果は、パラメータベースの微調整は個人情報を漏洩する傾向が強く、プロンプトベースの微調整はよりプライバシー保護の選択肢となることを示唆している。
• 参考スコア（独自算出の注目度）: 8.334869916058746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the capabilities of pre-trained large language models (LLMs) continue to advance, the "pre-train and fine-tune" paradigm has become increasingly mainstream, leading to the development of various fine-tuning methods. However, the privacy risks arising from memorization during fine-tuning have received relatively little attention. To address this gap, we categorize popular fine-tuning approaches and assess their impact on memorization through the lens of membership inference attacks (MIAs). Our results show that, compared to parameter-based fine-tuning, prompt-based fine-tuning achieves competitive performance while exhibiting lower vulnerability to MIAs. Furthermore, prompt-based methods maintain low memorization regardless of model scale. These findings suggest that parameter-based fine-tuning is more prone to leaking private information, whereas prompt-based fine-tuning serves as a more privacy-preserving option.
• Abstract（参考訳）: LLM(pre-trained large language model)の能力が向上するにつれて、"pre-train and fine-tune"パラダイムが主流となり、様々な微調整手法の開発へと繋がる。 しかし、微調整中の記憶から生じるプライバシーリスクは比較的少ない。 このギャップに対処するため、我々は人気のある微調整アプローチを分類し、MIA (the Lens of Membering Inference attack) を通して記憶への影響を評価する。 その結果,パラメータベースファインチューニングと比較して,プロンプトベースファインチューニングはMIAの脆弱性を低く保ち,競争性能が向上することがわかった。 さらに, モデルスケールにかかわらず, プロンプトベース方式は低記憶率を維持している。 これらの結果は、パラメータベースの微調整は個人情報を漏洩する傾向が強く、プロンプトベースの微調整はよりプライバシー保護の選択肢となることを示唆している。

関連論文リスト

• DynaNoise: Dynamic Probabilistic Noise Injection for Defending Against Membership Inference Attacks [6.610581923321801]
  会員推論攻撃(MIA)は、トレーニングデータセットのプライバシーに重大なリスクをもたらす。 従来の緩和技術は、トレーニングや推論中に一定量のノイズを注入することに依存している。 問合せ感度に基づいて動的にノイズ注入を変調する適応型アプローチであるDynaNoiseを提案する。
  論文  参考訳（メタデータ） (2025-05-19T17:07:00Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• Memorization in NLP Fine-tuning Methods [34.66743495192471]
  我々は,メンバシップ推論と抽出攻撃を用いた微調整手法の暗記を経験的に研究した。 モデルヘッドの微調整は攻撃に対する最も感受性が高いが、細調整された小さなアダプタは既知の抽出攻撃に対する脆弱さが低いようである。
  論文  参考訳（メタデータ） (2022-05-25T05:49:31Z)
• Know Where You're Going: Meta-Learning for Parameter-Efficient Fine-tuning [34.66092282348687]
  そこで本研究では,微調整手法の究極的な選択を考慮に入れれば,パラメータ効率の高い微調整性能が向上することを示す。 パラメータ効率の良い微調整のための事前学習モデルを作成し,NERファインチューニングにおける最大1.7ポイントのゲインを得た。
  論文  参考訳（メタデータ） (2022-05-25T02:51:57Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。