論文の概要: Do LLMs Really Memorize Personally Identifiable Information? Revisiting PII Leakage with a Cue-Controlled Memorization Framework

• arxiv url: http://arxiv.org/abs/2601.03791v1
• Date: Wed, 07 Jan 2026 10:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.183026
• Title: Do LLMs Really Memorize Personally Identifiable Information? Revisiting PII Leakage with a Cue-Controlled Memorization Framework
• Title（参考訳）: LLMは個人識別情報を本当に記憶しているか? -Cue-Controlled Memorization Frameworkを用いたPII漏洩の再検討-
• Authors: Xiaoyu Luo, Yiyi Chen, Qiongxiu Li, Johannes Bjerva,
• Abstract要約: 大規模言語モデル(LLM)は「漏洩」個人識別可能情報(PII)として報告されている。 そこで本研究では,低語彙条件下でPIIリークを評価すべきであるとして,LLMのメモリ化評価の原則的改訂を提案する。
• 参考スコア（独自算出の注目度）: 17.256722063353426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have been reported to "leak" Personally Identifiable Information (PII), with successful PII reconstruction often interpreted as evidence of memorization. We propose a principled revision of memorization evaluation for LLMs, arguing that PII leakage should be evaluated under low lexical cue conditions, where target PII cannot be reconstructed through prompt-induced generalization or pattern completion. We formalize Cue-Resistant Memorization (CRM) as a cue-controlled evaluation framework and a necessary condition for valid memorization evaluation, explicitly conditioning on prompt-target overlap cues. Using CRM, we conduct a large-scale multilingual re-evaluation of PII leakage across 32 languages and multiple memorization paradigms. Revisiting reconstruction-based settings, including verbatim prefix-suffix completion and associative reconstruction, we find that their apparent effectiveness is driven primarily by direct surface-form cues rather than by true memorization. When such cues are controlled for, reconstruction success diminishes substantially. We further examine cue-free generation and membership inference, both of which exhibit extremely low true positive rates. Overall, our results suggest that previously reported PII leakage is better explained by cue-driven behavior than by genuine memorization, highlighting the importance of cue-controlled evaluation for reliably quantifying privacy-relevant memorization in LLMs.
• Abstract（参考訳）: LLM(Large Language Models)はPII(Personally Identible Information)として報告されており、PII再構成の成功はしばしば記憶の証拠として解釈される。 本稿では,LLMのメモリ化評価の原則を改訂し,PIIリークを低語彙条件下で評価すべきであるとする。 我々は,Cue-Resistant Memorization (CRM) をキュー制御評価フレームワークとして定式化した。 CRMを用いて、32言語および複数の記憶パラダイムにわたるPIIリークの大規模マルチ言語再評価を行う。 本研究は, 主目的が真の記憶ではなく, 直接的な表面形状の手がかりによるものであることを示す。 このような手段が制御されると、再建の成功は著しく減少する。 さらに, 有意な正の確率が極めて低いクエフリー生成と会員推定について検討した。 以上の結果から,従来報告されていたPII漏洩は,実際の記憶よりもキュー駆動行動により説明され,LLMにおけるプライバシ関連記憶を確実に定量化するためのキュー制御評価の重要性が示唆された。

関連論文リスト

• Large Language Models Could Be Rote Learners [13.607635426273607]
  大規模言語モデル(LLM)の評価には,MCQ(Multiple-choice Question)ベンチマークが広く使用されている。 本研究では,汚染を学習の本質的な側面として再編成し,表層記憶からの真の能力獲得を抑えることを目的とする。
  論文  参考訳（メタデータ） (2025-04-11T07:04:44Z)
• Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
  大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。 既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。 そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
  論文  参考訳（メタデータ） (2025-03-04T05:39:24Z)
• R.R.: Unveiling LLM Training Privacy through Recollection and Ranking [17.12953978321457]
  大規模言語モデル(LLM)は、暗黙の暗記によるトレーニングデータを漏洩させる可能性のある、重大なプライバシーリスクを生じさせる。 R.R.(Recollect and Rank)は、攻撃者が盗難データからPIIエンティティを再構築できる新しい2段階のプライバシ盗難攻撃である。 3つの人気のあるPIIデータセットに対する実験は、R.R.がベースラインよりも優れたPII識別性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-02-18T09:05:59Z)
• Detecting Memorization in Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。 従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
  論文  参考訳（メタデータ） (2024-12-02T00:17:43Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。