論文の概要: A New Analysis of Differential Privacy's Generalization Guarantees

• arxiv url: http://arxiv.org/abs/1909.03577v2
• Date: Tue, 4 Jun 2024 03:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 05:08:04.009651
• Title: A New Analysis of Differential Privacy's Generalization Guarantees
• Title（参考訳）: 差別化プライバシの一般化保証に関する新しい分析
• Authors: Christopher Jung, Katrina Ligett, Seth Neel, Aaron Roth, Saeed Sharifi-Malvajerdi, Moshe Shenfeld,
• Abstract要約: 適応的に選択された統計的クエリに、差分的にプライベートで、サンプル精度が正確に答えるメカニズムも正解であることを示す。 私たちの新しい証明は初等的で、他の場所で役立つと期待されている構造的な洞察を与えてくれます。
• 参考スコア（独自算出の注目度）: 11.485744204944627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We give a new proof of the "transfer theorem" underlying adaptive data analysis: that any mechanism for answering adaptively chosen statistical queries that is differentially private and sample-accurate is also accurate out-of-sample. Our new proof is elementary and gives structural insights that we expect will be useful elsewhere. We show: 1) that differential privacy ensures that the expectation of any query on the posterior distribution on datasets induced by the transcript of the interaction is close to its true value on the data distribution, and 2) sample accuracy on its own ensures that any query answer produced by the mechanism is close to its posterior expectation with high probability. This second claim follows from a thought experiment in which we imagine that the dataset is resampled from the posterior distribution after the mechanism has committed to its answers. The transfer theorem then follows by summing these two bounds, and in particular, avoids the "monitor argument" used to derive high probability bounds in prior work. An upshot of our new proof technique is that the concrete bounds we obtain are substantially better than the best previously known bounds, even though the improvements are in the constants, rather than the asymptotics (which are known to be tight). As we show, our new bounds outperform the naive "sample-splitting" baseline at dramatically smaller dataset sizes compared to the previous state of the art, bringing techniques from this literature closer to practicality.
• Abstract（参考訳）: 我々は、適応データ解析の基礎となる「転送定理」の新たな証明を与える: 微分プライベートでサンプル精度の高い、適応的に選択された統計的クエリに答えるメカニズムは、正解ではない。 私たちの新しい証明は初等的で、他の場所で役立つと期待されている構造的な洞察を与えてくれます。 以下に示す。 1) 差分プライバシーは、相互作用の転写によって引き起こされるデータセットの後方分布に対するクエリの期待が、データ分布上の真の値に近くなることを保証し、 2) 標本の精度は, そのメカニズムによって生成される問合せ応答が, 高い確率でその先行期待値に近いことを確実にする。 この第2の主張は、このデータセットが、そのメカニズムが解答にコミットした後、後部分布から再サンプリングされることを想像する思考実験から従う。 移行定理は、これらの2つの境界を和ることによって従うが、特に、前処理で高い確率境界を導出するために使われる「モニター引数」を避ける。 我々の新しい証明手法のアップショットは、改善が漸近性(タイトであることが知られている)よりも定数にあるにもかかわらず、得られた具体的な境界は、最もよく知られた境界よりもかなり良いことである。 我々の新しい境界線は、従来の最先端技術と比べて劇的に小さなデータセットサイズで、単純で「サンプル分割」のベースラインを上回り、この文献のテクニックを実用性に近づけます。

関連論文リスト

• Predicting generalization performance with correctness discriminators [64.00420578048855]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Reproducible Parameter Inference Using Bagged Posteriors [9.975422461924705]
  モデル的不特定性の下では、ベイジアン後部は真あるいは偽真パラメータの不確かさを適切に定量化しないことが多いことが知られている。 独立データセットから構築された2つの信頼集合が空でない重複を持つ確率を考察する。 標準後部からの信頼できる集合は、特に高次元の設定において、この境界に強く違反する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-11-03T16:28:16Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
  逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。 私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
  論文  参考訳（メタデータ） (2023-04-29T01:30:33Z)
• Distribution-Free Finite-Sample Guarantees and Split Conformal Prediction [0.0]
  分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。 1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
  論文  参考訳（メタデータ） (2022-10-26T14:12:24Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。