論文の概要: Privacy Without Regret: Differentially Private Inference-Time Alignment
- arxiv url: http://arxiv.org/abs/2608.26324v1
- Date: Wed, 26 Aug 2026 18:56:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.15903
- Title: Privacy Without Regret: Differentially Private Inference-Time Alignment
- Title（参考訳）: レグレットのないプライバシ:異なるプライベートな推論時間アライメント
- Abstract要約: いずれの選択肢も解決する前に、スコアを報奨するための1つの介入付加ノイズが示される。
PrivBoNは、Gumbelのノイズが適切なスケールで同時に$$$-differential privacyを提供することを確立している。
PrivITP は元ポスト $(,)$-DP を達成するが、プライバシコストは応答数に依存しない。
- 参考スコア（独自算出の注目度）: 8.568849346613602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Best-of-N (BoN) sampling is the simplest and most widely deployed inference-time alignment strategy, but it suffers from two distinct problems: reward hacking, in which the selected response exploits errors in the proxy reward model, and the absence of any privacy protection for the sensitive human preference data used to train that reward model. We show that a single intervention-adding calibrated noise to reward scores before selection-resolves both. Our first result, Private Best-of-N (PrivBoN), establishes that Gumbel noise at an appropriate scale simultaneously provides $ε$-differential privacy and implements KL-regularized alignment. Whenever the privacy budget exceeds a critical threshold $ε^*$, the privacy-mandated noise is the regret-optimal regularization, and privacy imposes zero additional alignment cost-matching the information-theoretic skyline of Huang et al. (2025). Because $ε^*$ depends on an unknown coverage coefficient, we introduce Private Inference-Time Pessimism (PrivITP), which combines $χ^2$-regularized rejection sampling with a two-phase Gaussian mechanism. PrivITP achieves ex-post $(ε,δ)$-DP with a privacy cost independent of the number of responses $n$, cleanly decouples the regularization parameter from the privacy parameter, and attains the skyline up to a noise-inflation term. Experiments across several language models, datasets, and reward models confirm our results: PrivBoN and PrivITP are scaling-monotonic (unlike BoN, which degrades past a critical $n$), and PrivITP matches or outperforms PrivBoN at equivalent privacy levels, with the largest gains in the strong-privacy regime.
- Abstract（参考訳）: ベスト・オブ・N(BoN)サンプリングは最もシンプルで、最も広く展開されている推論時アライメント戦略であるが、報酬ハッキング(英語版)という2つの異なる問題に悩まされている。
選択分解前のスコアを報知するために,1つの介入付加型校正ノイズが生じることを示す。
我々の最初の成果であるPrivBoN(PrivBoN)は、Gumbelノイズが同時にε$差分プライバシーを提供し、KL規則化されたアライメントを実装していることを証明している。
プライバシーの予算が重要なしきい値を超えるとき、ε^*$を超えるとき、プライバシー管理されたノイズは後悔と最適の規則化であり、プライバシーはHuangら(2025年)の情報理論のスカイラインに合わせた追加のアライメントコストを課す。
ε^*$ は未知のカバレッジ係数に依存するため、2相ガウス機構と$ ε^2$-正則化リジェクションサンプリングを組み合わせた Private Inference-Time Pessimism (PrivITP) を導入する。
プライバシパラメータから正規化パラメータをクリーンに分離し、ノイズインフレーション項までのスカイラインを達成する。
PrivBoNとPrivITPはスケーリングモノトニック(BoNとは違い、重要な$n$を越えている)であり、PrivITPは同等のプライバシレベルでPivBoNをマッチまたは上回る。
関連論文リスト
- Keeping a Secret Requires a Good Memory: Space Lower-Bounds for Private Algorithms [67.94856074923571]
本稿では,マルチプレイヤー通信ゲームに基づく新しい証明手法を提案する。
本稿では,このコミュニケーションゲームに勝つためには,過剰なユーザ数に比例した情報伝達が必要であることを示す。
このコミュニケーション理論の手法は幅広い問題のクラスに一般化し、プライベートな中央値、量子化値、最大選択値の下位境界を導出することを示す。
論文 参考訳（メタデータ） (2026-02-12T17:49:07Z) - Privacy-Utility Tradeoffs in Quantum Information Processing [13.088625380700933]
プライバシが$(varepsilon,)$-quantumローカルディファレンシャルプライバシによって定量化される場合、ジェネリックおよびアプリケーション固有のユーティリティメトリクスの両方に対して最適なトレードオフについて検討する。
我々は、高い確率で一定の精度を保証するのに必要なサンプル数に対する低い境界を導出する。
我々は、プライベートな学習タスクに有用な応用を約束する、プライベートな古典的な影の研究を開始することで、結論付ける。
論文 参考訳（メタデータ） (2026-02-11T04:21:45Z) - High-Dimensional Asymptotics of Differentially Private PCA [4.168157981135696]
差分プライバシーでは、機密データセットの統計はランダムノイズを導入することで民営化される。
このような高い騒音レベルが本当に必要か、あるいは証明技術に限界があるのかは、まだ不明である。
本稿では,ターゲットのプライバシレベルを達成するために必要な最小のノイズレベルを識別する,シャープなプライバシ特性を得ることができるかを検討する。
論文 参考訳（メタデータ） (2025-11-10T16:17:16Z) - Private Hyperparameter Tuning with Ex-Post Guarantee [98.43027866582979]
「実用優先」のプライバシメカニズムは、望ましいユーティリティレベルを優先し、それに対応するプライバシコストを決定する。
Wu et al. [2019] と Liu と Talwar [2019] の作業を拡張して,プライベートな見積りのシーケンスをサポートします。
最適なプライバシ予算の選択を含む,これらの推定器のハイパーパラメータチューニングは,追加のプライバシコストなしで行うことができることを示す。
論文 参考訳（メタデータ） (2025-08-21T02:42:23Z) - Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。
DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。
本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
論文 参考訳（メタデータ） (2024-11-27T00:48:48Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - On the Complexity of Differentially Private Best-Arm Identification with
Fixed Confidence [16.295693624977563]
我々は、$epsilon$-global Differential Privacyの下で、信頼度を固定したベストアーム識別の問題について検討する。
われわれの限界は、プライバシー予算によって2つのプライバシー体制が存在することを示唆している。
我々はトップ2アルゴリズムの$epsilon$-global DP変種であるAdaP-TTを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:07:25Z) - Mean Estimation Under Heterogeneous Privacy: Some Privacy Can Be Free [13.198689566654103]
本研究は,異種差分プライバシー制約に基づく平均推定の問題について考察する。
提案するアルゴリズムは,プライバシレベルが異なる2つのユーザグループが存在する場合に,ミニマックス最適であることが示されている。
論文 参考訳（メタデータ） (2023-04-27T05:23:06Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。