論文の概要: PAC-Private Autoregressive Generation: Calibrating Noise to Ensemble Disagreement
- arxiv url: http://arxiv.org/abs/2609.05676v1
- Date: Fri, 04 Sep 2026 19:16:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.106428
- Title: PAC-Private Autoregressive Generation: Calibrating Noise to Ensemble Disagreement
- Title（参考訳）: PAC-Private Autoregressive Generation:Callibating noise to Enmble Disagreement
- Abstract要約: PMixEDのようなメソッドはリリース毎にプライバシコストを発生させ、長期にわたってパブリックモデルに依存している。
PACプライバシはノイズをキャリブレーションして、可能なシークレット間での変動を出力し、予測が安定している場合にはノイズを減らします。
私たちはプライベートコーパスから$m=128$重なり合う世界を構築し、それぞれのレコードは正確に$m/2$の世界に現れ、凍結したパブリックモデルで1つのアダプタをトレーニングします。
- 参考スコア（独自算出の注目度）: 0.5735035463793009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models adapted on private text are often served through APIs, so privacy leakage occurs through generated outputs rather than exposed weights. Private prediction protects these releases. Methods such as PMixED incur privacy cost at each release and increasingly rely on the public model over long horizons. PAC privacy instead calibrates noise to output variability across possible secrets, adding less noise when predictions are stable. To our knowledge, PAC-private prediction has not previously been extended from classification to autoregressive generation. We construct $m=128$ overlapping worlds from the private corpus, with each record appearing in exactly $m/2$ worlds, and train one adapter per world over a frozen public model. The realized world is the secret. At each token, the public model defines a candidate set, the worlds vote, and their posterior-weighted disagreement determines the PAC noise; unanimity requires no calibration noise. We prove $I(S;Y_{1:T}) \leq I(S;H_T) \leq bT$. Our contributions are extending PAC privacy to autoregressive generation, handling adaptive self-generated contexts, and introducing coupled decoding that preserves privacy accounting while avoiding greedy degeneration. On WikiText-103 with GPT-2-small, we retain 74% of the fine-tuning gain at a per-token budget of $2^{-32}$, while membership-inference success is bounded by 51.08% after $10^6$ tokens; posterior-entropy estimates of leakage are roughly 17% of the charged budget. Inference privacy is not content protection: even when membership advantage on a memorized canary is indistinguishable from zero, the canary is emitted at the same rate. Against PMixED under matched membership-inference bounds on the same data universe and test set, we retain 98% of non-private headroom from $10^2$ to $10^6$ tokens, versus at most 56%, with no crossover.
- Abstract（参考訳）: プライベートテキストに適応した言語モデルは、APIを通じて提供されることが多いため、プライバシリークは、露出する重みではなく、生成された出力を介して発生する。
プライベート予測はこれらのリリースを保護する。
PMixEDのようなメソッドはリリース毎にプライバシコストを発生させ、長期にわたってパブリックモデルに依存している。
PACプライバシはノイズをキャリブレーションして、可能なシークレット間での変動を出力し、予測が安定している場合にはノイズを減らします。
我々の知る限り、PAC-private予測は分類から自己回帰生成まで拡張されていない。
私たちはプライベートコーパスから$m=128$重なり合う世界を構築し、それぞれのレコードは正確に$m/2$の世界に現れ、凍結したパブリックモデルで1つのアダプタをトレーニングします。
現実の世界は秘密だ。
それぞれのトークンにおいて、公開モデルは候補セットを定義し、世界が投票し、その後部重み付けされた不一致がPACノイズを決定する。
I(S;Y_{1:T}) \leq I(S;H_T) \leq bT$とする。
当社のコントリビューションは、PACプライバシを自己回帰生成に拡張し、適応的な自己生成コンテキストを処理し、グレディ・デジェネレーションを回避しつつ、プライバシ・カウンセリングを保存する複合デコードを導入しています。
GPT-2-小のWikiText-103では、20ドル(約2万2000円)の予算で微調整の利得の74%を保ち、メンバーシップ推論の成功は10ドル(約10万円)のトークンの後に51.08%、リーク後のエントロピー推定は約17%である。
暗記されたカナリアの会員権がゼロと区別できない場合でも、同じ速度でカナリアが放出される。
PMixEDは同一のデータ空間とテストセット上の一致したメンバーシップ推論境界の下では、10^2$から10^6$トークンの非プライベートなヘッドルームの98%を保持するが、少なくとも56%はクロスオーバーしない。
関連論文リスト
- Privacy Without Regret: Differentially Private Inference-Time Alignment [8.568849346613602]
いずれの選択肢も解決する前に、スコアを報奨するための1つの介入付加ノイズが示される。
PrivBoNは、Gumbelのノイズが適切なスケールで同時に$$$-differential privacyを提供することを確立している。
PrivITP は元ポスト $(,)$-DP を達成するが、プライバシコストは応答数に依存しない。
論文 参考訳（メタデータ） (2026-08-26T18:56:27Z) - AdaPrivate-TS: Private Thompson Sampling for Contextual Bandits with Privacy Amplification [0.3560429497877326]
AdaPrivate-TSは、トンプソン・サンプリングとバッチ化されたzCDP合成を組み合わせた、微分的にプライベートな文脈的包帯である。
AdaPrivate-TS は $varepsilon [0.5, 5]$ で 93-99% を達成し, UCB を0.5-3.7% で上回り,適応探索で 18% まで向上した。
論文 参考訳（メタデータ） (2026-06-19T21:18:33Z) - Keeping a Secret Requires a Good Memory: Space Lower-Bounds for Private Algorithms [67.94856074923571]
本稿では,マルチプレイヤー通信ゲームに基づく新しい証明手法を提案する。
本稿では,このコミュニケーションゲームに勝つためには,過剰なユーザ数に比例した情報伝達が必要であることを示す。
このコミュニケーション理論の手法は幅広い問題のクラスに一般化し、プライベートな中央値、量子化値、最大選択値の下位境界を導出することを示す。
論文 参考訳（メタデータ） (2026-02-12T17:49:07Z) - PAC-Private Responses with Adversarial Composition [11.108854725676006]
PACプライバシは、任意のブラックボックス機能に対して、インスタンスベースのプライバシ保証を提供する。
適応雑音校正による逆合成を実現する新しいアルゴリズムを提案する。
実験により, ステップごとのプライバシー予算が極端に小さく, 有効性が高いことがわかった。
論文 参考訳（メタデータ） (2026-01-20T14:53:39Z) - HearSay Benchmark: Do Audio LLMs Leak What They Hear? [71.05839007164776]
本稿では,オーディオ大言語モデルがアコースティック・ボイスプリントのみを通じて,ユーザのプライバシーを不注意に漏洩するかどうかを考察する。
$textitHearSay$は、22,000以上の現実世界のオーディオクリップから構築された総合的なベンチマークである。
textbfSignificant Privacy Leakage$の実験は、3つの重要な発見をもたらす。
論文 参考訳（メタデータ） (2026-01-07T10:33:44Z) - Privacy-Aware Sequential Learning [1.9573768098158]
予防接種登録では、個人は他人を観察して行動し、その結果の公開記録は個人情報を公開することができる。
プライバシ保護シーケンシャルラーニング(プライバシ保存シーケンシャルラーニング)について検討し、エージェントが報告された行動に内因性ノイズを加えてプライベートシグナルを隠蔽する。
以上の結果から,プライバシが情報を動的にフィードバックし,プラットフォームやポリシの設計を通知する方法が示唆された。
論文 参考訳（メタデータ） (2025-02-26T19:50:10Z) - Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。
DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。
本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
論文 参考訳（メタデータ） (2024-11-27T00:48:48Z) - Differentially Private Secure Multiplication: Hiding Information in the Rubble of Noise [7.110450972801578]
プライベート分散マルチパーティ乗算の問題点を考察する。
Shamirの秘密共有コーディング戦略が、分散計算における完全な情報理論プライバシを実現することは、十分に確立されている。
論文 参考訳（メタデータ） (2023-09-28T02:13:13Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation
of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。
AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。
PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
論文 参考訳（メタデータ） (2021-04-02T23:10:57Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。