論文の概要: Extractable Memorization From First Principles

• arxiv url: http://arxiv.org/abs/2607.12649v1
• Date: Tue, 14 Jul 2026 11:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.131143
• Title: Extractable Memorization From First Principles
• Title（参考訳）: 第一原理からの抽出可能な記憶
• Abstract要約: 一致した比較が厳密で校正された暗記の主張を可能にすることを示す。 我々は「抽出可能な記憶」を洗練し、有効な記憶のクレームとほぼ確実な生成を必要とする。
• 参考スコア（独自算出の注目度）: 66.10415626674103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on extractable memorization in LLMs suffers from two contrasting validity problems. Some studies overstate extraction, e.g., relying on sequences too short to distinguish memorization from predictability. Others imply that extraction is unreliable evidence of memorization, since models can also reproduce real-world text they weren't explicitly trained on. In different ways, both overlook what makes a valid extraction claim: the model must generate a training sequence with high enough probability to indicate memorization. To determine what's high enough, one has to perform a matched comparison: measuring the generation probabilities of both the training sequences of interest and comparable non-training sequences. Because non-training sequences cannot have been memorized, their probabilities provide a baseline for predictability; a training sequence exceeding this baseline provides evidence of memorization. We formalize matched comparisons in two ways: (1) a conformal test that calibrates a threshold to a chosen FPR when training and non-training sequences are sampled from populations, and (2) a census that calibrates against a matched non-training document when the object is a single document (e.g., a book). We show that matched comparisons enable rigorous, calibrated memorization claims, and reveal where prior setups have validity issues. For instance, on Wikipedia OLMo 2 32B reproduces non-training 10-token suffixes roughly 24% as often as training ones: that share of the training generation rate reflects false positives, not memorization. For Llama 3.1 70B on books, the thresholds we calibrate are as low as 1e-27, supporting memorization claims for sequences that no feasible sampling budget would extract. Based on these results, we refine "extractable memorization" to require a valid memorization claim and near-certain generation within a realistic budget.
• Abstract（参考訳）: LLMの抽出可能な記憶に関する最近の研究は、2つの対照的な妥当性の問題に悩まされている。 過剰状態抽出(例:過剰状態抽出)は、暗記と予測可能性の区別にあまりにも短いシーケンスに依存する。 他の説では、抽出は暗記の信頼性の低い証拠であることを意味している。 モデルは暗記を示すのに十分な確率のトレーニングシーケンスを生成する必要がある。 十分に高いものを決定するには、マッチした比較を行い、興味のあるトレーニングシーケンスと同等の非トレーニングシーケンスの両方の生成確率を測定する必要がある。 非トレーニングシーケンスは記憶できないため、それらの確率は予測可能性の基準となる。 一致した比較は,(1) 対象が単一文書(例:本)である場合の一致した非学習文書に対して校正する調査(例:本)と、(2) 集団からトレーニングと非学習シーケンスをサンプリングする際、選択されたFPRに対して閾値を校正するコンフォメーションテスト(例:本)の2つの方法で定式化する。 一致した比較により、厳密で校正された暗記のクレームが実現し、事前のセットアップが妥当な問題のある場所を明らかにする。 例えば、ウィキペディアのOLMo 2 32Bでは、訓練対象でない10個の接尾辞を、トレーニング対象の約24%の頻度で再現している。 Llama 3.1 70B の書籍では、私たちが校正する閾値は 1e-27 にも満たない。 これらの結果に基づき、現実的な予算内で有効な記憶とほぼ確実な生成を必要とするように「抽出可能な記憶」を洗練する。

関連論文リスト

• Prior Aware Memorization: An Efficient Metric for Distinguishing Memorization from Generalization in Large Language Models [9.915106680104268]
  LLM(Large Language Models)からのトレーニングデータ漏洩は、プライバシ、セキュリティ、著作権コンプライアンスに関する深刻な懸念を引き起こす。 既存の暗記計測手法はしばしばこれらの現象を説明し、共通パターンの一般化から生じたときでも、アウトプットを暗記している。 この研究は、LLMにおける真の記憶を識別するための理論的基礎と軽量でトレーニング不要な基準である、事前認識記憶を導入している。
  論文  参考訳（メタデータ） (2026-02-21T06:31:17Z)
• Continual Memorization of Factoids in Language Models [32.37538704232502]
  近年の研究では、記憶の微調整は知識の保存に効果がないか、幻覚を悪化させる可能性があることが示されている。 モデルがファクトイドの集合を記憶し、後続のデータセットを微調整する複数の段階を通して保持しなければならない設定を導入する。 特に第2段階でファクトイドを記憶する必要がある場合, LMは忘れることに悩まされている。
  論文  参考訳（メタデータ） (2024-11-11T17:56:15Z)
• The Unreasonable Ineffectiveness of Nucleus Sampling on Mitigating Text Memorization [15.348047288817478]
  大規模言語モデル(LLM)の核サンプリング時のテキスト記憶挙動を解析した。 核の大きさが大きくなると、記憶力は緩やかに低下する。 モデルが"ハード"メモリ化に関与していない場合でも、"ソフト"メモリ化を表示できる。
  論文  参考訳（メタデータ） (2024-08-29T08:30:33Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• ROME: Memorization Insights from Text, Logits and Representation [17.458840481902644]
  本稿では、トレーニングデータの直接処理をバイパスするROMEという革新的な手法を提案する。 具体的には、コンテキスト非依存、従来型、事実の3つの異なるタイプに分類されるデータセットを選択します。 そこで本研究では,生成したテキストのロジットと表現を調べることで,記憶されたサンプルと記憶されていないサンプルの相違に着目した。
  論文  参考訳（メタデータ） (2024-03-01T13:15:30Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Reducing Training Sample Memorization in GANs by Training with Memorization Rejection [80.0916819303573]
  本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
  論文  参考訳（メタデータ） (2022-10-21T20:17:50Z)
• An Empirical Study of Memorization in NLP [8.293936347234126]
  3つの異なるNLPタスクを使用して、ロングテール理論が成立するかどうかをチェックする。 実験により、トップランクの記憶されたトレーニングインスタンスはおそらく非典型的であることが示された。 トレーニングインスタンスを記憶する理由をよりよく理解するための属性手法を開発した。
  論文  参考訳（メタデータ） (2022-03-23T03:27:56Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Exploring Memorization in Adversarial Training [58.38336773082818]
  本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。 本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:39:57Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。