論文の概要: Hot PATE: Private Aggregation of Distributions for Diverse Task
- arxiv url: http://arxiv.org/abs/2312.02132v1
- Date: Mon, 4 Dec 2023 18:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:06:44.987482
- Title: Hot PATE: Private Aggregation of Distributions for Diverse Task
- Title（参考訳）: hot pate: 多様なタスクのための分散のプライベートアグリゲーション
- Authors: Edith Cohen and Xin Lyu and Jelani Nelson and Tamas Sarlos and Uri
Stemmer
- Abstract要約: PATE(Private Aggregation of Teacher Ensembles)は、プライバシ保護機械学習における汎用的なアプローチである。
我々は,多種多様な設定に適したEmphhot PATEを提案する。
解析的かつ実証的に、ホットPATEはプライバシとユーティリティのトレードオフを達成し、多様な設定において、ベースラインコールドのPATEをはるかに上回っていることを実証します。
- 参考スコア（独自算出の注目度）: 29.057736845077457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Private Aggregation of Teacher Ensembles (PATE)
framework~\cite{PapernotAEGT:ICLR2017} is a versatile approach to
privacy-preserving machine learning. In PATE, teacher models are trained on
distinct portions of sensitive data, and their predictions are privately
aggregated to label new training examples for a student model.
Until now, PATE has primarily been explored with classification-like tasks,
where each example possesses a ground-truth label, and knowledge is transferred
to the student by labeling public examples. Generative AI models, however,
excel in open ended \emph{diverse} tasks with multiple valid responses and
scenarios that may not align with traditional labeled examples. Furthermore,
the knowledge of models is often encapsulated in the response distribution
itself and may be transferred from teachers to student in a more fluid way. We
propose \emph{hot PATE}, tailored for the diverse setting. In hot PATE, each
teacher model produces a response distribution and the aggregation method must
preserve both privacy and diversity of responses. We demonstrate, analytically
and empirically, that hot PATE achieves privacy-utility tradeoffs that are
comparable to, and in diverse settings, significantly surpass, the baseline
``cold'' PATE.
- Abstract（参考訳）: Private Aggregation of Teacher Ensembles (PATE) framework~\cite{PapernotAEGT:ICLR2017}は、プライバシ保護機械学習に対する汎用的なアプローチである。
pateでは、教師モデルはセンシティブなデータの異なる部分で訓練され、その予測はプライベートに集約され、生徒モデルの新しいトレーニング例にラベル付けされる。
これまで、PATEは主に分類のようなタスクで探索されてきたが、それぞれの例が基調ラベルを持ち、公開例をラベル付けすることで知識が学生に伝達される。
しかし、生成型aiモデルは、複数の有効な応答と、従来のラベル付き例と一致しないシナリオを持つオープンエンドの \emph{diverse}タスクで優れている。
さらに、モデルに関する知識は応答分布自体にカプセル化され、より流動的な方法で教師から生徒に伝達されることがある。
多様な設定に適した 'emph{hot PATE} を提案する。
ホットPATEでは、各教師モデルは応答分布を生成し、アグリゲーション法は応答のプライバシーと多様性の両方を保持する必要がある。
我々は、分析的かつ実証的に、ホットPATEは、多様な設定において、‘cold’のPATEのベースラインに匹敵するプライバシーとユーティリティのトレードオフを達成することを実証した。
関連論文リスト
- Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure [13.971962047728237]
SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。
教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。
ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-03-14T13:12:49Z) - On the Fairness Impacts of Private Ensembles Models [44.15285550981899]
Private Aggregation of Teacher Ensembles (PATE)は、プライベートモデルの作成を可能にする機械学習フレームワークである。
本稿は、PATEの使用が不公平な結果をもたらすかどうかを考察し、個人間での精度格差につながることを実証する。
論文 参考訳（メタデータ） (2023-05-19T16:43:53Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳（メタデータ） (2023-04-04T12:04:19Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy
Labels [21.374707481630697]
本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。
GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。
さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-11-03T07:33:49Z) - Faculty Distillation with Optimal Transport [53.69235109551099]
本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。
ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。
各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
論文 参考訳（メタデータ） (2022-04-25T09:34:37Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳（メタデータ） (2022-04-11T14:42:54Z) - Towards Differential Relational Privacy and its use in Question
Answering [109.4452196071872]
データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。
我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。
質問回答のための大規模モデルを用いた実験において,概念を解説する。
論文 参考訳（メタデータ） (2022-03-30T22:59:24Z) - A Fairness Analysis on Private Aggregation of Teacher Ensembles [31.388212637482365]
PATE(Private Aggregation of Teacher Ensembles)は、機械学習の重要なフレームワークである。
本稿では、このプライバシー保護フレームワークが偏見と不公平を増すか否かを問う。
PATEは個人と個人のグループ間で精度の相違をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-09-17T16:19:24Z) - Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
論文 参考訳（メタデータ） (2020-03-01T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。