論文の概要: Prior Aware Memorization: An Efficient Metric for Distinguishing Memorization from Generalization in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.18733v1
• Date: Sat, 21 Feb 2026 06:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.270529
• Title: Prior Aware Memorization: An Efficient Metric for Distinguishing Memorization from Generalization in Large Language Models
• Title（参考訳）: 事前認識覚書化:大規模言語モデルにおける一般化からの覚書化を効果的に行う尺度
• Authors: Trishita Tiwari, Ari Trachtenberg, G. Edward Suh,
• Abstract要約: LLM(Large Language Models)からのトレーニングデータ漏洩は、プライバシ、セキュリティ、著作権コンプライアンスに関する深刻な懸念を引き起こす。 既存の暗記計測手法はしばしばこれらの現象を説明し、共通パターンの一般化から生じたときでも、アウトプットを暗記している。 この研究は、LLMにおける真の記憶を識別するための理論的基礎と軽量でトレーニング不要な基準である、事前認識記憶を導入している。
• 参考スコア（独自算出の注目度）: 9.915106680104268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data leakage from Large Language Models (LLMs) raises serious concerns related to privacy, security, and copyright compliance. A central challenge in assessing this risk is distinguishing genuine memorization of training data from the generation of statistically common sequences. Existing approaches to measuring memorization often conflate these phenomena, labeling outputs as memorized even when they arise from generalization over common patterns. Counterfactual Memorization provides a principled solution by comparing models trained with and without a target sequence, but its reliance on retraining multiple baseline models makes it computationally expensive and impractical at scale. This work introduces Prior-Aware Memorization, a theoretically grounded, lightweight and training-free criterion for identifying genuine memorization in LLMs. The key idea is to evaluate whether a candidate suffix is strongly associated with its specific training prefix or whether it appears with high probability across many unrelated prompts due to statistical commonality. We evaluate this metric on text from the training corpora of two pre-trained models, LLaMA and OPT, using both long sequences (to simulate copyright risks) and named entities (to simulate PII leakage). Our results show that between 55% and 90% of sequences previously labeled as memorized are in fact statistically common. Similar findings hold for the SATML training data extraction challenge dataset, where roughly 40% of sequences exhibit common-pattern behavior despite appearing only once in the training data. These results demonstrate that low frequency alone is insufficient evidence of memorization and highlight the importance of accounting for model priors when assessing leakage.
• Abstract（参考訳）: LLM(Large Language Models)からのトレーニングデータ漏洩は、プライバシ、セキュリティ、著作権コンプライアンスに関する深刻な懸念を引き起こす。 このリスクを評価する上での中心的な課題は、トレーニングデータの真の記憶と、統計的に一般的なシーケンスの生成を区別することである。 既存の暗記計測手法はしばしばこれらの現象を説明し、共通パターンの一般化から生じたときでも、アウトプットを暗記している。 対実記憶法は、ターゲットシーケンスと非対象シーケンスで訓練されたモデルを比較することによって、原則化されたソリューションを提供するが、複数のベースラインモデルの再訓練に依存しているため、計算コストが高く、大規模では実用的ではない。 この研究は、LLMにおける真の記憶を識別するための理論的基礎と軽量でトレーニング不要な基準である、事前認識記憶を導入している。 鍵となる考え方は、候補接尾辞がその特定の訓練接頭辞と強く結びついているかどうか、あるいは統計的共通性によって多くの無関係なプロンプトに高い確率で現れるかどうかを評価することである。 我々は,LLaMAとOPTの2つの事前学習モデルのトレーニングコーパスからテキスト上でこの指標を評価し,長いシーケンス(著作権リスクをシミュレートする)と名前付きエンティティ(PII漏洩をシミュレートする)の両方を用いて評価した。 以上の結果から,従来記憶されていた配列の55%から90%が統計的に一般的であることが示唆された。 SATMLトレーニングデータ抽出チャレンジデータセットでは、トレーニングデータに1回だけ現れるにもかかわらず、シーケンスの約40%が共通パターンの振る舞いを示す。 これらの結果から,低周波だけでは暗記の証拠が不十分であることが示され,漏洩を評価する上でのモデル事前会計の重要性が強調された。

関連論文リスト

• Membership Inference Attacks from Causal Principles [24.370456956570873]
  我々は、MIA評価を因果推論問題とし、記憶をトレーニングセットにデータポイントを含む因果効果として定義する。 非漸近的整合性保証付きマルチラン・ワンラン・ゼロラン体制の実用的推定器を提案する。
  論文  参考訳（メタデータ） (2026-02-02T21:17:28Z)
• Retracing the Past: LLMs Emit Training Data When They Get Lost [18.852558767604823]
  大規模言語モデルにおけるトレーニングデータの記憶は、プライバシーと著作権に関する重大な懸念を生じさせる。 本稿では,記憶されたデータを抽出するための基本的枠組みであるCIAについて紹介する。
  論文  参考訳（メタデータ） (2025-10-27T03:48:24Z)
• Sequence-Level Leakage Risk of Training Data in Large Language Models [7.600279942640982]
  この研究は、シーケンスレベルの確率を用いて、大規模言語モデルからデータ漏洩を訓練するリスクを定量化する。 我々はデコード方式,モデルサイズ,プレフィックス長,部分シーケンスリーク,トークン位置の影響を再解析する。
  論文  参考訳（メタデータ） (2024-12-15T20:27:45Z)
• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。