論文の概要: Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots

• arxiv url: http://arxiv.org/abs/2608.27782v1
• Date: Thu, 27 Aug 2026 23:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.164856
• Title: Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
• Title（参考訳）: 記憶は抽出されない: 差別的差別的境界の度合いと聴覚的盲点
• Abstract要約: 大規模言語モデルの記憶は、形式的関係が不明な定義の動物園を通じて測定される。 差分プライバシー(DP)は,これらすべてに対して同時にプロキシとして扱われることを示す。
• 参考スコア（独自算出の注目度）: 9.539275654775706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memorization in large language models is measured through a zoo of definitions whose formal relations are unknown, and differential privacy (DP) is treated as a proxy against all of them at once. We pin down the exact DP constant for the two that carry the practical weight, counterfactual memorization and adaptive extraction, and show that they do not control each other. Under $f$-DP, every adaptive extraction protocol with list budget $m$ succeeds with probability at most $1-f(κ)$ for the oblivious baseline $κ$, and the bound is tight on a dense set of baselines: DP uniformly controls extraction exactly up to a threshold in how well the secret can be guessed a priori. Min-entropy certifies that baseline distribution-free, since $H_\infty\geε\log_2 e+\log_2(m/τ)$ holds extraction below a risk level $τ\le1/2$ under pure $ε$-DP for every prior, and is exact on uniform priors. On the memorization side, $f$-DP caps the counterfactual memorization of any bounded score at an advantage functional $η(f)$, equal to $\tanh(ε/2)$ under pure DP; for $k\ge2$ duplicated copies the naive $ε\mapsto kε$ bound $\tanh(kε/2)$ is unattainable, the exact constant being a closed-form staircase attained by geometric noisy counting. That cap is attained inside the local score class used in practice, and it is there that the two measures separate: one mechanism is memorized yet unextractable, another fully extractable yet exactly invisible to every loss-based score. The two-sided blind spot this opens for loss-based auditing and unlearning verification survives on billion-parameter models: a reserved-trigger release is recovered verbatim from one prompt while the audits practitioners deploy certify it clean.
• Abstract（参考訳）: 大規模言語モデルの記憶は、形式的関係が不明な定義の動物園を通じて測定され、差分プライバシー(DP)はそれらすべてに対して一度にプロキシとして扱われる。 実用重量, 対実記憶, 適応抽出を具備した2つのDP定数をピン留めし, 互いに制御していないことを示す。 $f$-DPの下では、リスト予算が$m$の任意の適応抽出プロトコルは、最大で1-f(κ)$の確率で成功する。 なぜなら、$H_\infty\geε\log_2 e+\log_2(m/τ)$ はリスクレベル $τ\le1/2$ より下にあるからであり、全ての前もって純粋な$ε$-DP の下にある。 記憶側では、$f$-DPは任意の有界スコアの反ファクト的記憶を、有利な関数として$η(f)$で、純DPの下で$\tanh(ε/2)$に等しい;$k\ge2$重複コピーのために、素数$ε\mapsto kε$ bound $\tanh(kε/2)$は、到達不能であり、正確な定数は幾何学的ノイズカウントによって達成される閉形式の階段である。 この上限は、実際に使用されるローカルスコアクラス内で達成され、2つの測度が分離されている: 1つのメカニズムは記憶されているが、抽出不可能であり、もう1つは完全に抽出可能で、損失ベースのスコアには正確に見えない。 損失ベースの監査と未学習の検証のための両面の盲点が10億パラメータモデルで残っている。 監査担当者がそれをクリーンにデプロイしている間、リザーブドトリガーリリースは1つのプロンプトから冗長に回収される。

関連論文リスト

• The geometry of AI validation: Exact certification limits for iid best-of-N search [0.0]
  信頼性面上での検証とデプロイメントのルールをカーネルとして表現する。 B_m,N=1+2sum_r=1m(-1)rcos2Nr/[(m+1)]$
  論文  参考訳（メタデータ） (2026-08-21T15:18:11Z)
• Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids: From Robust Offline Optimization to Full-Bandit Learning [55.29259818039367]
  オフラインアルゴリズムに任意の制御値オラクルが与えられるとき, 一般のマトロイドに対する非負のサブモジュラー対象について検討する。 本アルゴリズムは,非単調な目的に対して1/e$,単調な目的に対して1/e$の制限係数を保持する。 結果として、オフラインからオフラインへの還元は、一般的なマトロイド制約のサブモジュラー報酬に対するシングルバンドCMABアルゴリズムをもたらす。
  論文  参考訳（メタデータ） (2026-08-12T14:54:15Z)
• Sub-Quadratic Bisimulation Metrics via Approximate Nearest Neighbors: Coverage-Augmented Guarantees and Computable Two-Sided Certificates [1.2891210250935148]
  我々は,境界遷移をサポートするMPPに対して,証明書を搬送するサブクワッドラティックな方法を提案する。 近似アレスト近傍指数は、正確に制限された演算子によって更新されたペアを選択する。 ローカルインデックスの品質だけでは、グローバルエラーを制御できない。
  論文  参考訳（メタデータ） (2026-08-07T03:32:40Z)
• Partially Correlated Verifier Cascades in LLM Harnesses: Concave Log-Odds, Polynomial Reliability, and Blind-Spot Ceilings [0.5076419064097734]
  シリアル検証ゲートはLLMハーネスのコア信頼性プリミティブである。 候補の答えが返されるのは、$k$検証者が全てそれを受け入れた場合に限られる。 このノートはそのような理論を最小限にしている。
  論文  参考訳（メタデータ） (2026-07-15T14:58:37Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
  検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。 ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。 私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
  論文  参考訳（メタデータ） (2026-05-05T08:15:41Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。