論文の概要: Hot PATE: Private Aggregation of Distributions for Diverse Task
- arxiv url: http://arxiv.org/abs/2312.02132v1
- Date: Mon, 4 Dec 2023 18:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:06:44.987482
- Title: Hot PATE: Private Aggregation of Distributions for Diverse Task
- Title(参考訳): hot pate: 多様なタスクのための分散のプライベートアグリゲーション
- Authors: Edith Cohen and Xin Lyu and Jelani Nelson and Tamas Sarlos and Uri
Stemmer
- Abstract要約: PATE(Private Aggregation of Teacher Ensembles)は、プライバシ保護機械学習における汎用的なアプローチである。
我々は,多種多様な設定に適したEmphhot PATEを提案する。
解析的かつ実証的に、ホットPATEはプライバシとユーティリティのトレードオフを達成し、多様な設定において、ベースラインコールドのPATEをはるかに上回っていることを実証します。
- 参考スコア(独自算出の注目度): 29.057736845077457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Private Aggregation of Teacher Ensembles (PATE)
framework~\cite{PapernotAEGT:ICLR2017} is a versatile approach to
privacy-preserving machine learning. In PATE, teacher models are trained on
distinct portions of sensitive data, and their predictions are privately
aggregated to label new training examples for a student model.
Until now, PATE has primarily been explored with classification-like tasks,
where each example possesses a ground-truth label, and knowledge is transferred
to the student by labeling public examples. Generative AI models, however,
excel in open ended \emph{diverse} tasks with multiple valid responses and
scenarios that may not align with traditional labeled examples. Furthermore,
the knowledge of models is often encapsulated in the response distribution
itself and may be transferred from teachers to student in a more fluid way. We
propose \emph{hot PATE}, tailored for the diverse setting. In hot PATE, each
teacher model produces a response distribution and the aggregation method must
preserve both privacy and diversity of responses. We demonstrate, analytically
and empirically, that hot PATE achieves privacy-utility tradeoffs that are
comparable to, and in diverse settings, significantly surpass, the baseline
``cold'' PATE.
- Abstract(参考訳): Private Aggregation of Teacher Ensembles (PATE) framework~\cite{PapernotAEGT:ICLR2017}は、プライバシ保護機械学習に対する汎用的なアプローチである。
pateでは、教師モデルはセンシティブなデータの異なる部分で訓練され、その予測はプライベートに集約され、生徒モデルの新しいトレーニング例にラベル付けされる。
これまで、PATEは主に分類のようなタスクで探索されてきたが、それぞれの例が基調ラベルを持ち、公開例をラベル付けすることで知識が学生に伝達される。
しかし、生成型aiモデルは、複数の有効な応答と、従来のラベル付き例と一致しないシナリオを持つオープンエンドの \emph{diverse}タスクで優れている。
さらに、モデルに関する知識は応答分布自体にカプセル化され、より流動的な方法で教師から生徒に伝達されることがある。
多様な設定に適した 'emph{hot PATE} を提案する。
ホットPATEでは、各教師モデルは応答分布を生成し、アグリゲーション法は応答のプライバシーと多様性の両方を保持する必要がある。
我々は、分析的かつ実証的に、ホットPATEは、多様な設定において、‘cold’のPATEのベースラインに匹敵するプライバシーとユーティリティのトレードオフを達成することを実証した。
関連論文リスト
- Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-28T20:42:47Z) - On the Fairness Impacts of Private Ensembles Models [44.15285550981899]
Private Aggregation of Teacher Ensembles (PATE)は、プライベートモデルの作成を可能にする機械学習フレームワークである。
本稿は、PATEの使用が不公平な結果をもたらすかどうかを考察し、個人間での精度格差につながることを実証する。
論文 参考訳(メタデータ) (2023-05-19T16:43:53Z) - Learn What Is Possible, Then Choose What Is Best: Disentangling
One-To-Many Relations in Language Through Text-based Games [3.615981646205045]
望ましい振る舞いをエミュレートできる言語モデルをトレーニングするアプローチを提案する。
テキストベースのゲームをテストベッドとして使用することで、PASAは個別の潜伏変数を用いて異なる動作範囲をキャプチャする。
その結果,従来の最先端モデルよりも49%の実証的改善が得られた。
論文 参考訳(メタデータ) (2023-04-14T17:11:26Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。
ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。
デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
論文 参考訳(メタデータ) (2023-03-04T16:04:49Z) - Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy
Labels [21.374707481630697]
本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。
GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。
さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
論文 参考訳(メタデータ) (2022-11-03T07:33:49Z) - A Fairness Analysis on Private Aggregation of Teacher Ensembles [31.388212637482365]
PATE(Private Aggregation of Teacher Ensembles)は、機械学習の重要なフレームワークである。
本稿では、このプライバシー保護フレームワークが偏見と不公平を増すか否かを問う。
PATEは個人と個人のグループ間で精度の相違をもたらす可能性がある。
論文 参考訳(メタデータ) (2021-09-17T16:19:24Z) - Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
論文 参考訳(メタデータ) (2020-03-01T15:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。