論文の概要: Privacy Ripple Effects from Adding or Removing Personal Information in Language Model Training

• arxiv url: http://arxiv.org/abs/2502.15680v1
• Date: Fri, 21 Feb 2025 18:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:09.283104
• Title: Privacy Ripple Effects from Adding or Removing Personal Information in Language Model Training
• Title（参考訳）: 言語モデル学習における個人情報の追加・削除によるプライバシ・リップル効果
• Authors: Jaydeep Borkar, Matthew Jagielski, Katherine Lee, Niloofar Mireshghallah, David A. Smith, Christopher A. Choquette-Choo,
• Abstract要約: PIIの量と容易性は、トレーニングパイプラインを通して進化するモデルの動的特性であることがわかった。 1) 訓練の後に見られる類似のPIIは, 覚醒と呼ばれる早期のシーケンスの記憶を引き出すことができる。
• 参考スコア（独自算出の注目度）: 19.119349775283556
• License:
• Abstract: Due to the sensitive nature of personally identifiable information (PII), its owners may have the authority to control its inclusion or request its removal from large-language model (LLM) training. Beyond this, PII may be added or removed from training datasets due to evolving dataset curation techniques, because they were newly scraped for retraining, or because they were included in a new downstream fine-tuning stage. We find that the amount and ease of PII memorization is a dynamic property of a model that evolves throughout training pipelines and depends on commonly altered design choices. We characterize three such novel phenomena: (1) similar-appearing PII seen later in training can elicit memorization of earlier-seen sequences in what we call assisted memorization, and this is a significant factor (in our settings, up to 1/3); (2) adding PII can increase memorization of other PII significantly (in our settings, as much as $\approx\!7.5\times$); and (3) removing PII can lead to other PII being memorized. Model creators should consider these first- and second-order privacy risks when training models to avoid the risk of new PII regurgitation.
• Abstract（参考訳）: 個人識別可能な情報(PII)の繊細な性質のため、その所有者は、その包含を制御したり、大規模言語モデル(LLM)トレーニングから除去を要求する権限を持つことができる。 さらにPIIは、データセットキュレーションテクニックの進化によるトレーニングデータセットの追加や削除も可能だ。 PII記憶の量と容易さは、トレーニングパイプラインを通して進化し、一般的に変化する設計選択に依存するモデルの動的特性であることがわかった。 1)訓練中に見られた類似したPIIは、私たちがアシスト記憶と呼ぶ早期のシーケンスを記憶させることが可能であり、これは重要な要素(設定では1/3まで)であり、(2)PIIを追加することで他のPIIの記憶が著しく向上する(設定では$\approx\! 7.5\times$); および (3) PII を除去すると、他の PII が記憶される。 モデル作成者は、新しいPII復活のリスクを避けるために、トレーニングモデルにおいて、これらの一階と二階のプライバシリスクを考慮する必要がある。

関連論文リスト

• R.R.: Unveiling LLM Training Privacy through Recollection and Ranking [17.12953978321457]
  大規模言語モデル(LLM)は、暗黙の暗記によるトレーニングデータを漏洩させる可能性のある、重大なプライバシーリスクを生じさせる。 R.R.(Recollect and Rank)は、攻撃者が盗難データからPIIエンティティを再構築できる新しい2段階のプライバシ盗難攻撃である。 3つの人気のあるPIIデータセットに対する実験により、R.R.はベースラインよりもPIIと同等の性能が向上していることが示された。
  論文  参考訳（メタデータ） (2025-02-18T09:05:59Z)
• Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs [30.13601588296921]
  フェデレートラーニング(FL)は、クライアント間の直接的なデータ露光を回避する共同トレーニングの一般的なパラダイムである。 敵対的かつ正直なクライアントは、単にターゲットのプロンプトを通じて、他の参加者のトレーニングデータを復元することができる。 低ランク適応(LoRA)はFL中の記憶を最大10倍に減少させる。
  論文  参考訳（メタデータ） (2025-02-07T17:04:39Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Extracting Training Data from Document-Based VQA Models [67.1470112451617]
  VLM(Vision-Language Models)は、文書ベースの視覚質問回答において顕著な進歩を遂げている(つまり、画像として提供される入力文書の内容に関する問い合わせに応答する)。 これらのモデルでは、関連する視覚情報が削除された場合でも、トレーニングサンプルに対する応答を記憶し、それらをリグルジタイズすることができる。 これには、トレーニングセットで繰り返し繰り返されるパーソナライズ可能な情報が含まれており、これらのモデルが機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。
  論文  参考訳（メタデータ） (2024-07-11T17:44:41Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Analyzing Leakage of Personally Identifiable Information in Language Models [13.467340359030855]
  言語モデル (LM) は, 文レベルのメンバシップ推論と再構築攻撃を通じて, トレーニングデータに関する情報を漏らすことが示されている。 スクレイビング技術は減少するが、PII漏れのリスクを防止しない。 ユーザーレベルのプライバシーを保証し、PIIの開示を防止するために設計された、差分プライバシーのようなアルゴリズムによる防御の程度は不明確である。
  論文  参考訳（メタデータ） (2023-02-01T16:04:48Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Automated PII Extraction from Social Media for Raising Privacy Awareness: A Deep Transfer Learning Approach [6.806025738284367]
  インターネット利用者は、ソーシャルメディア上でPII(Personally Identible Information)の量を増やしている。 本研究では,これらの2つの制約に対処するために,PII抽出のためのDeep Transfer Learning(DTL-PIIE)フレームワークを提案する。 我々のフレームワークは、PII誤用予測やプライバシーリスク評価など、様々なアプリケーションを容易にすることができる。
  論文  参考訳（メタデータ） (2021-11-11T19:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。