論文の概要: Hot PATE: Private Aggregation of Distributions for Diverse Task

• arxiv url: http://arxiv.org/abs/2312.02132v2
• Date: Fri, 17 May 2024 18:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-22 00:00:07.528703
• Title: Hot PATE: Private Aggregation of Distributions for Diverse Task
• Title（参考訳）: Hot PATE: 分散のプライベートアグリゲーション
• Authors: Edith Cohen, Benjamin Cohen-Wang, Xin Lyu, Jelani Nelson, Tamas Sarlos, Uri Stemmer,
• Abstract要約: Private Aggregation of Teacher Ensembles (PATE)フレームワークは、プライバシ保護機械学習に対する汎用的なアプローチである。 多様な設定に適したデザインであるEmphhot PATEを提案する。 我々は,多様性の保存という概念を数学的にモデル化し,プライバシーと多様性を保護し,プライバシーや効率に配慮した多様性を伝達するアンサンブル(enmphcoordinated mbles)を提案する。
• 参考スコア（独自算出の注目度）: 25.71922346848019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Private Aggregation of Teacher Ensembles (PATE) framework is a versatile approach to privacy-preserving machine learning. In PATE, teacher models that are not privacy-preserving are trained on distinct portions of sensitive data. Privacy-preserving knowledge transfer to a student model is then facilitated by privately aggregating teachers' predictions on new examples. Employing PATE with generative auto-regressive models presents both challenges and opportunities. These models excel in open ended \emph{diverse} (aka hot) tasks with multiple valid responses. Moreover, the knowledge of models is often encapsulated in the response distribution itself and preserving this diversity is critical for fluid and effective knowledge transfer from teachers to student. In all prior designs, higher diversity resulted in lower teacher agreement and thus -- a tradeoff between diversity and privacy. Prior works with PATE thus focused on non-diverse settings or limiting diversity to improve utility. We propose \emph{hot PATE}, a design tailored for the diverse setting. In hot PATE, each teacher model produces a response distribution that can be highly diverse. We mathematically model the notion of \emph{preserving diversity} and propose an aggregation method, \emph{coordinated ensembles}, that preserves privacy and transfers diversity with \emph{no penalty} to privacy or efficiency. We demonstrate empirically the benefits of hot PATE for in-context learning via prompts and potential to unleash more of the capabilities of generative models.
• Abstract（参考訳）: Private Aggregation of Teacher Ensembles (PATE)フレームワークは、プライバシ保護機械学習に対する汎用的なアプローチである。 PATEでは、プライバシ保護を持たない教師モデルは、機密データの異なる部分に基づいて訓練される。 生徒モデルに対するプライバシ保護知識の伝達は,教師の新たな事例に対する予測を個人的に収集することで促進される。 PATEを生成的自己回帰モデルに採用することは、課題と機会の両方を提示する。 これらのモデルは、複数の有効な応答を持つオープンエンド \emph{diverse} (別名ホット)タスクで排他的である。 さらに、モデルに関する知識は、応答分布自体にカプセル化され、この多様性を保存することは、教師から学生への流動的で効果的な知識伝達に不可欠である。 以前のすべての設計では、より高い多様性は教師との合意を低くし、多様性とプライバシのトレードオフをもたらす。 以前のPATEでの作業は、非多様性の設定や多様性の制限に重点を置いていた。 多様な設定に適したデザインである「emph{hot PATE」を提案する。 ホットPATEでは、各教師モデルは、非常に多様な応答分布を生成する。 本稿では, 多様性の保存という概念を数学的にモデル化し, プライバシーを保護し, 多様性を保護し, プライバシーや効率に移行するアグリゲーション手法である<emph{coordinated ensembles}を提案する。 提案手法は,テキスト内学習におけるホットPATEの利点を実証的に実証し,生成モデルの能力をより多く解き放つ可能性を示した。

関連論文リスト

• Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs [0.13108652488669734]
  フェデレートラーニング(FL)は、分散トレーニングを可能にするが、高いコミュニケーションコストに悩まされる。 差分的プライベート(DP)生成モデルを用いたデータ共有手法を提案する。 クライアントは、グローバルでプライバシを意識したデータ配布をモデル化するために、差分的にプライベートな条件変分自動エンコーダ(DP-CVAE)を共同でトレーニングする。
  論文  参考訳（メタデータ） (2025-07-03T14:36:15Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Privacy-preserving Prompt Personalization in Federated Learning for Multimodal Large Language Models [12.406403248205285]
  フェデレート・プロンプト・パーソナライゼーション(FPP)は、データの均一性と局所的なオーバーフィッティングに対処するために開発された。 我々は、パーソナライゼーションとプライバシ保証を調和させるセキュアなFPPプロトコルSecFPPを提案する。 SecFPPは、プライバシ保護ベースラインと非プライバシ保護ベースラインの両方で著しく優れています。
  論文  参考訳（メタデータ） (2025-05-28T15:09:56Z)
• Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure [13.971962047728237]
  SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。 教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。 ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-03-14T13:12:49Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Bounded and Unbiased Composite Differential Privacy [25.427802467876248]
  差分プライバシ(DP)の目的は、隣接する2つのデータベース間で区別できない出力分布を生成することにより、プライバシを保護することである。 既存のソリューションでは、後処理やトランケーション技術を使ってこの問題に対処しようとしている。 本稿では,合成確率密度関数を用いて有界および非偏りの出力を生成する新しい微分プライベート機構を提案する。
  論文  参考訳（メタデータ） (2023-11-04T04:43:47Z)
• On the Fairness Impacts of Private Ensembles Models [44.15285550981899]
  Private Aggregation of Teacher Ensembles (PATE)は、プライベートモデルの作成を可能にする機械学習フレームワークである。 本稿は、PATEの使用が不公平な結果をもたらすかどうかを考察し、個人間での精度格差につながることを実証する。
  論文  参考訳（メタデータ） (2023-05-19T16:43:53Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels [21.374707481630697]
  本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。 GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。 さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-11-03T07:33:49Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• A Fairness Analysis on Private Aggregation of Teacher Ensembles [31.388212637482365]
  PATE(Private Aggregation of Teacher Ensembles)は、機械学習の重要なフレームワークである。 本稿では、このプライバシー保護フレームワークが偏見と不公平を増すか否かを問う。 PATEは個人と個人のグループ間で精度の相違をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-09-17T16:19:24Z)
• PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
  教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。 AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。 PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
  論文  参考訳（メタデータ） (2021-04-02T23:10:57Z)
• Bias and Variance of Post-processing in Differential Privacy [53.29035917495491]
  後処理免疫は、差分プライバシーの基本的な性質である。 ポストプロセッシングはバイアスをもたらし、ばらつきを増大させるとしばしば主張される。 本稿では,後処理の特性を理解するための第一歩を踏み出す。
  論文  参考訳（メタデータ） (2020-10-09T02:12:54Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。