論文の概要: Hot PATE: Private Aggregation of Distributions for Diverse Task
- arxiv url: http://arxiv.org/abs/2312.02132v2
- Date: Fri, 17 May 2024 18:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 00:00:07.528703
- Title: Hot PATE: Private Aggregation of Distributions for Diverse Task
- Title（参考訳）: Hot PATE: 分散のプライベートアグリゲーション
- Authors: Edith Cohen, Benjamin Cohen-Wang, Xin Lyu, Jelani Nelson, Tamas Sarlos, Uri Stemmer,
- Abstract要約: Private Aggregation of Teacher Ensembles (PATE)フレームワークは、プライバシ保護機械学習に対する汎用的なアプローチである。
多様な設定に適したデザインであるEmphhot PATEを提案する。
我々は,多様性の保存という概念を数学的にモデル化し,プライバシーと多様性を保護し,プライバシーや効率に配慮した多様性を伝達するアンサンブル(enmphcoordinated mbles)を提案する。
- 参考スコア（独自算出の注目度）: 25.71922346848019
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Private Aggregation of Teacher Ensembles (PATE) framework is a versatile approach to privacy-preserving machine learning. In PATE, teacher models that are not privacy-preserving are trained on distinct portions of sensitive data. Privacy-preserving knowledge transfer to a student model is then facilitated by privately aggregating teachers' predictions on new examples. Employing PATE with generative auto-regressive models presents both challenges and opportunities. These models excel in open ended \emph{diverse} (aka hot) tasks with multiple valid responses. Moreover, the knowledge of models is often encapsulated in the response distribution itself and preserving this diversity is critical for fluid and effective knowledge transfer from teachers to student. In all prior designs, higher diversity resulted in lower teacher agreement and thus -- a tradeoff between diversity and privacy. Prior works with PATE thus focused on non-diverse settings or limiting diversity to improve utility. We propose \emph{hot PATE}, a design tailored for the diverse setting. In hot PATE, each teacher model produces a response distribution that can be highly diverse. We mathematically model the notion of \emph{preserving diversity} and propose an aggregation method, \emph{coordinated ensembles}, that preserves privacy and transfers diversity with \emph{no penalty} to privacy or efficiency. We demonstrate empirically the benefits of hot PATE for in-context learning via prompts and potential to unleash more of the capabilities of generative models.
- Abstract（参考訳）: Private Aggregation of Teacher Ensembles (PATE)フレームワークは、プライバシ保護機械学習に対する汎用的なアプローチである。
PATEでは、プライバシ保護を持たない教師モデルは、機密データの異なる部分に基づいて訓練される。
生徒モデルに対するプライバシ保護知識の伝達は,教師の新たな事例に対する予測を個人的に収集することで促進される。
PATEを生成的自己回帰モデルに採用することは、課題と機会の両方を提示する。
これらのモデルは、複数の有効な応答を持つオープンエンド \emph{diverse} (別名ホット)タスクで排他的である。
さらに、モデルに関する知識は、応答分布自体にカプセル化され、この多様性を保存することは、教師から学生への流動的で効果的な知識伝達に不可欠である。
以前のすべての設計では、より高い多様性は教師との合意を低くし、多様性とプライバシのトレードオフをもたらす。
以前のPATEでの作業は、非多様性の設定や多様性の制限に重点を置いていた。
多様な設定に適したデザインである「emph{hot PATE」を提案する。
ホットPATEでは、各教師モデルは、非常に多様な応答分布を生成する。
本稿では, 多様性の保存という概念を数学的にモデル化し, プライバシーを保護し, 多様性を保護し, プライバシーや効率に移行するアグリゲーション手法である<emph{coordinated ensembles}を提案する。
提案手法は,テキスト内学習におけるホットPATEの利点を実証的に実証し,生成モデルの能力をより多く解き放つ可能性を示した。
関連論文リスト
- Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure [13.971962047728237]
SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。
教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。
ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-03-14T13:12:49Z) - On the Fairness Impacts of Private Ensembles Models [44.15285550981899]
Private Aggregation of Teacher Ensembles (PATE)は、プライベートモデルの作成を可能にする機械学習フレームワークである。
本稿は、PATEの使用が不公平な結果をもたらすかどうかを考察し、個人間での精度格差につながることを実証する。
論文 参考訳（メタデータ） (2023-05-19T16:43:53Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy
Labels [21.374707481630697]
本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。
GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。
さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-11-03T07:33:49Z) - Faculty Distillation with Optimal Transport [53.69235109551099]
本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。
ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。
各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
論文 参考訳（メタデータ） (2022-04-25T09:34:37Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳（メタデータ） (2022-04-11T14:42:54Z) - Towards Differential Relational Privacy and its use in Question
Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。
我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。
質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文 参考訳（メタデータ） (2022-03-30T22:59:24Z) - A Fairness Analysis on Private Aggregation of Teacher Ensembles [31.388212637482365]
PATE(Private Aggregation of Teacher Ensembles)は、機械学習の重要なフレームワークである。
本稿では、このプライバシー保護フレームワークが偏見と不公平を増すか否かを問う。
PATEは個人と個人のグループ間で精度の相違をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-09-17T16:19:24Z) - Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
論文 参考訳（メタデータ） (2020-03-01T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。