論文の概要: Adaptive Private-K-Selection with Adaptive K and Application to
Multi-label PATE
- arxiv url: http://arxiv.org/abs/2203.16100v1
- Date: Wed, 30 Mar 2022 07:11:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 16:23:24.432213
- Title: Adaptive Private-K-Selection with Adaptive K and Application to
Multi-label PATE
- Title（参考訳）: 適応Kを用いた適応プライベートK選択と多ラベルPATEへの応用
- Authors: Yuqing Zhu and Yu-Xiang Wang
- Abstract要約: 我々は、差分的にプライベートなトップ$k$選択のためのエンドツーエンドのRenyi DPベースのフレームワークを提供する。
提案手法は,従来のトップ$選択アルゴリズムと比較して,プライバシとユーティリティのトレードオフを改善していることを示す。
- 参考スコア（独自算出の注目度）: 19.344510696808282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide an end-to-end Renyi DP based-framework for differentially private
top-$k$ selection. Unlike previous approaches, which require a data-independent
choice on $k$, we propose to privately release a data-dependent choice of $k$
such that the gap between $k$-th and the $(k+1)$st "quality" is large. This is
achieved by a novel application of the Report-Noisy-Max. Not only does this
eliminate one hyperparameter, the adaptive choice of $k$ also certifies the
stability of the top-$k$ indices in the unordered set so we can release them
using a variant of propose-test-release (PTR) without adding noise. We show
that our construction improves the privacy-utility trade-offs compared to the
previous top-$k$ selection algorithms theoretically and empirically.
Additionally, we apply our algorithm to "Private Aggregation of Teacher
Ensembles (PATE)" in multi-label classification tasks with a large number of
labels and show that it leads to significant performance gains.
- Abstract（参考訳）: 極端にプライベートなトップ$k$選択のためのrenyi dpベースのフレームワークを提供する。
従来の$k$でデータに依存しない選択を必要とするアプローチとは異なり、$k$-thと$(k+1)$stのギャップが大きくなるように、$k$のデータに依存しない選択を個人的にリリースすることを提案します。
これはReport-Noisy-Maxの新たな応用によって実現されている。
これは1つのハイパーパラメータを除去するだけでなく、$k$の適応的な選択は、非順序集合の上位$k$インデックスの安定性を証明し、ノイズを加えることなくプロジェクション・テスト・リリース(PTR)の変種を使ってそれらを解放する。
提案手法は,従来のトップ$選択アルゴリズムと比較して,理論的かつ実証的にプライバシーとユーティリティのトレードオフを改善していることを示す。
さらに,多数のラベルを持つ複数ラベル分類タスクにおいて,本アルゴリズムを"Private Aggregation of Teacher Ensembles (PATE)"に適用し,性能向上につながることを示す。
関連論文リスト
- Differentially Private Best-Arm Identification [14.916947598339988]
ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。
これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
論文 参考訳（メタデータ） (2024-06-10T16:02:48Z) - Privacy Profiles for Private Selection [21.162924003105484]
私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。
このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
論文 参考訳（メタデータ） (2024-02-09T08:31:46Z) - Variance Alignment Score: A Simple But Tough-to-Beat Data Selection
Method for Multimodal Contrastive Learning [17.40655778450583]
本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。
VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
論文 参考訳（メタデータ） (2024-02-03T06:29:04Z) - Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。
SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
論文 参考訳（メタデータ） (2023-12-13T11:08:25Z) - Optimal Unbiased Randomizers for Regression with Label Differential
Privacy [61.63619647307816]
ラベル差分プライバシ(DP)の制約の下で回帰モデルをトレーニングするためのラベルランダム化器の新たなファミリーを提案する。
これらのランダム化器は、いくつかのデータセット上で最先端のプライバシユーティリティトレードオフを実現することを実証する。
論文 参考訳（メタデータ） (2023-12-09T19:58:34Z) - On the Complexity of Differentially Private Best-Arm Identification with
Fixed Confidence [16.295693624977563]
我々は、$epsilon$-global Differential Privacyの下で、信頼度を固定したベストアーム識別の問題について検討する。
われわれの限界は、プライバシー予算によって2つのプライバシー体制が存在することを示唆している。
我々はトップ2アルゴリズムの$epsilon$-global DP変種であるAdaP-TTを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:07:25Z) - Ranking Inferences Based on the Top Choice of Multiway Comparisons [2.468314282946207]
本稿では、各試行においてランダムに選択された項目のうち、上位選択の観測データに基づいて、$n$アイテムのランキングを考察する。
これは、M$-wayランキングに対するプラケット=リュックモデルの有用な修正であり、最高選択のみを観測し、M=2$に対応する祝賀されたブラッドリー=テリー=リュックモデルの延長である。
論文 参考訳（メタデータ） (2022-11-22T02:34:52Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation
of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。
AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。
PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
論文 参考訳（メタデータ） (2021-04-02T23:10:57Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。