論文の概要: Adaptive Private-K-Selection with Adaptive K and Application to Multi-label PATE

• arxiv url: http://arxiv.org/abs/2203.16100v1
• Date: Wed, 30 Mar 2022 07:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 16:23:24.432213
• Title: Adaptive Private-K-Selection with Adaptive K and Application to Multi-label PATE
• Title（参考訳）: 適応Kを用いた適応プライベートK選択と多ラベルPATEへの応用
• Authors: Yuqing Zhu and Yu-Xiang Wang
• Abstract要約: 我々は、差分的にプライベートなトップ$k$選択のためのエンドツーエンドのRenyi DPベースのフレームワークを提供する。 提案手法は,従来のトップ$選択アルゴリズムと比較して,プライバシとユーティリティのトレードオフを改善していることを示す。
• 参考スコア（独自算出の注目度）: 19.344510696808282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide an end-to-end Renyi DP based-framework for differentially private top-$k$ selection. Unlike previous approaches, which require a data-independent choice on $k$, we propose to privately release a data-dependent choice of $k$ such that the gap between $k$-th and the $(k+1)$st "quality" is large. This is achieved by a novel application of the Report-Noisy-Max. Not only does this eliminate one hyperparameter, the adaptive choice of $k$ also certifies the stability of the top-$k$ indices in the unordered set so we can release them using a variant of propose-test-release (PTR) without adding noise. We show that our construction improves the privacy-utility trade-offs compared to the previous top-$k$ selection algorithms theoretically and empirically. Additionally, we apply our algorithm to "Private Aggregation of Teacher Ensembles (PATE)" in multi-label classification tasks with a large number of labels and show that it leads to significant performance gains.
• Abstract（参考訳）: 極端にプライベートなトップ$k$選択のためのrenyi dpベースのフレームワークを提供する。 従来の$k$でデータに依存しない選択を必要とするアプローチとは異なり、$k$-thと$(k+1)$stのギャップが大きくなるように、$k$のデータに依存しない選択を個人的にリリースすることを提案します。 これはReport-Noisy-Maxの新たな応用によって実現されている。 これは1つのハイパーパラメータを除去するだけでなく、$k$の適応的な選択は、非順序集合の上位$k$インデックスの安定性を証明し、ノイズを加えることなくプロジェクション・テスト・リリース(PTR)の変種を使ってそれらを解放する。 提案手法は,従来のトップ$選択アルゴリズムと比較して,理論的かつ実証的にプライバシーとユーティリティのトレードオフを改善していることを示す。 さらに,多数のラベルを持つ複数ラベル分類タスクにおいて,本アルゴリズムを"Private Aggregation of Teacher Ensembles (PATE)"に適用し,性能向上につながることを示す。

関連論文リスト

• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
  本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。 DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。 本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
  論文  参考訳（メタデータ） (2024-11-27T00:48:48Z)
• Differentially Private Best-Arm Identification [14.916947598339988]
  ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。 これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
  論文  参考訳（メタデータ） (2024-06-10T16:02:48Z)
• Privacy Profiles for Private Selection [21.162924003105484]
  私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。 このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
  論文  参考訳（メタデータ） (2024-02-09T08:31:46Z)
• Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning [17.40655778450583]
  本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-02-03T06:29:04Z)
• Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
  我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。 SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
  論文  参考訳（メタデータ） (2023-12-13T11:08:25Z)
• On the Complexity of Differentially Private Best-Arm Identification with Fixed Confidence [16.295693624977563]
  我々は、$epsilon$-global Differential Privacyの下で、信頼度を固定したベストアーム識別の問題について検討する。 われわれの限界は、プライバシー予算によって2つのプライバシー体制が存在することを示唆している。 我々はトップ2アルゴリズムの$epsilon$-global DP変種であるAdaP-TTを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:07:25Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
  教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。 AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。 PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
  論文  参考訳（メタデータ） (2021-04-02T23:10:57Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。