Fugu-MT 論文翻訳(概要): Memorization in NLP Fine-tuning Methods

論文の概要: Memorization in NLP Fine-tuning Methods

arxiv url: http://arxiv.org/abs/2205.12506v1
Date: Wed, 25 May 2022 05:49:31 GMT
ステータス: 処理完了
システム内更新日: 2022-05-28 15:30:58.669953
Title: Memorization in NLP Fine-tuning Methods
Title（参考訳）: NLP微調整法における記憶
Authors: Fatemehsadat Mireshghallah, Archit Uniyal, Tianhao Wang, David Evans, Taylor Berg-Kirkpatrick
Abstract要約: 我々は,メンバシップ推論と抽出攻撃を用いた微調整手法の暗記を経験的に研究した。モデルヘッドの微調整は攻撃に対する最も感受性が高いが、細調整された小さなアダプタは既知の抽出攻撃に対する脆弱さが低いようである。
参考スコア（独自算出の注目度）: 34.66743495192471
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models are shown to present privacy risks through memorization of training data, and several recent works have studied such risks for the pre-training phase. Little attention, however, has been given to the fine-tuning phase and it is not well understood how different fine-tuning methods (such as fine-tuning the full model, the model head, and adapter) compare in terms of memorization risk. This presents increasing concern as the "pre-train and fine-tune" paradigm proliferates. In this paper, we empirically study memorization of fine-tuning methods using membership inference and extraction attacks, and show that their susceptibility to attacks is very different. We observe that fine-tuning the head of the model has the highest susceptibility to attacks, whereas fine-tuning smaller adapters appears to be less vulnerable to known extraction attacks.
Abstract（参考訳）: 大規模言語モデルでは,トレーニングデータの記憶を通じて,プライバシのリスクを示すことが示されている。しかし、微調整フェーズにはほとんど注意が払われておらず、異なる微調整手法(フルモデル、モデルヘッド、アダプタなど)が記憶リスクの観点からどのように比較されるかはよく分かっていない。これは、"pre-train and fine-tune"パラダイムが普及するにつれて、懸念が高まっている。本稿では,メンバシップ推論と抽出攻撃を用いた微調整手法の記憶を実験的に検討し,その攻撃感受性が極めて異なることを示す。我々は,モデルの頭部の微調整が最も攻撃感受性が高いのに対し,小型のアダプタの微調整は既知の抽出攻撃に対する脆弱性が少ないことを観察する。

関連論文リスト

Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization [39.37308843208039]
我々は、より脅迫的なタイプの毒殺攻撃(Dederred Poisoning Attack)を導入する。この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。
論文参考訳（メタデータ） (2024-11-06T08:27:49Z)
Predicting and analyzing memorization within fine-tuned Large Language Models [0.0]
大規模言語モデルはトレーニングデータのかなりの割合を記憶しており、推論時に開示されると深刻な脅威となる。そこで本稿では, 記憶されたサンプルを事前検出するための, スライスされた相互情報に基づく新しい手法を提案する。我々は,暗記前に,これらの脆弱なサンプルの系統的な検査と保護を行うための方法を編み出した,強い経験的結果を得た。
論文参考訳（メタデータ） (2024-09-27T15:53:55Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文参考訳（メタデータ） (2024-05-28T20:43:53Z)
Better Membership Inference Privacy Measurement through Discrepancy [25.48677069802298]
本稿では,新たな経験的プライバシ指標を提案する。我々は,この指標が複数のモデルのトレーニングを伴わず,大規模なイメージネット分類モデルに適用可能であることを示し,より最新で洗練されたトレーニングレシピでトレーニングされたモデルの既存の指標よりも有利であることを示した。
論文参考訳（メタデータ） (2024-05-24T01:33:22Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。バックドア攻撃は訓練中にモデルに悪意ある行動を埋め込む我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文参考訳（メタデータ） (2024-03-24T18:33:15Z)
An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文参考訳（メタデータ） (2023-10-19T17:57:16Z)
Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
論文参考訳（メタデータ） (2022-02-02T19:00:21Z)
Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文参考訳（メタデータ） (2021-12-10T07:24:21Z)
A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D Models [3.9962751777898955]
ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
論文参考訳（メタデータ） (2020-12-08T20:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。