論文の概要: Hot PATE: Private Aggregation of Distributions for Diverse Task

• arxiv url: http://arxiv.org/abs/2312.02132v3
• Date: Sat, 17 May 2025 08:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.110725
• Title: Hot PATE: Private Aggregation of Distributions for Diverse Task
• Title（参考訳）: Hot PATE: 分散のプライベートアグリゲーション
• Authors: Edith Cohen, Benjamin Cohen-Wang, Xin Lyu, Jelani Nelson, Tamas Sarlos, Uri Stemmer,
• Abstract要約: 本研究では,出力が分布する設定に適したHot PATEを提案する。 多様性を保存することの意味を定義し、さらなるプライバシーコストを伴わずに、多様性をランダム化された出力に転送する効率的な集約メカニズムを導入する。 実証的に、Hot PATEは、コンテキスト内学習タスクにおいて、マグニチュード・オブ・マグニチュードの改善を達成する。
• 参考スコア（独自算出の注目度）: 25.71922346848019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Private Aggregation of Teacher Ensembles (PATE) framework enables privacy-preserving machine learning by aggregating responses from disjoint subsets of sensitive data. Adaptations of PATE to tasks with inherent output diversity such as text generation face a core tension: preserving output diversity reduces teacher agreement, which in turn increases the noise required for differential privacy, degrading utility. Yet suppressing diversity is counterproductive, as modern large language models encapsulate knowledge in their output distributions. We propose Hot PATE, a variant tailored to settings where outputs are distributions. We formally define what it means to preserve diversity and introduce an efficient aggregation mechanism that transfers diversity to the randomized output without incurring additional privacy cost. Our method can be implemented with only API access to proprietary models and serves as a drop-in replacement for existing "cold" PATE aggregators. Empirically, Hot PATE achieves orders-of-magnitude improvement on in-context learning tasks.
• Abstract（参考訳）: PATE(Private Aggregation of Teacher Ensembles)フレームワークは、機密データの非結合部分集合からの応答を集約することにより、プライバシ保護機械学習を可能にする。 テキスト生成のような本質的な出力多様性を持つタスクに対するPATEの適応は、中核的な緊張に直面している。 しかし、現代の大きな言語モデルは、その出力分布に知識をカプセル化しているため、多様性の抑制は非生産的である。 本研究では,出力が分布する設定に適したHot PATEを提案する。 我々は、多様性を保存することの意味を正式に定義し、さらなるプライバシーコストを伴わずに、多様性をランダム化された出力に転送する効率的な集約メカニズムを導入する。 提案手法は,プロプライエタリなモデルへのAPIアクセスのみで実装可能であり,既存の"コールド"PATEアグリゲータの代替となる。 実証的に、Hot PATEは、コンテキスト内学習タスクにおいて、マグニチュード・オブ・マグニチュードの改善を達成する。

関連論文リスト

• Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure [13.971962047728237]
  SG-ZSLは、モデルや機密データを交換することなく、効率的なコラボレーションを促進するように設計されている。 教師モデル、学生モデル、両方のモデルエンティティをリンクするジェネレータで構成される。 ZSLやGZSLのタスク、特にホワイトボックスプロトコルでは一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-03-14T13:12:49Z)
• On the Fairness Impacts of Private Ensembles Models [44.15285550981899]
  Private Aggregation of Teacher Ensembles (PATE)は、プライベートモデルの作成を可能にする機械学習フレームワークである。 本稿は、PATEの使用が不公平な結果をもたらすかどうかを考察し、個人間での精度格差につながることを実証する。
  論文  参考訳（メタデータ） (2023-05-19T16:43:53Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels [21.374707481630697]
  本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。 GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。 さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-11-03T07:33:49Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• A Fairness Analysis on Private Aggregation of Teacher Ensembles [31.388212637482365]
  PATE(Private Aggregation of Teacher Ensembles)は、機械学習の重要なフレームワークである。 本稿では、このプライバシー保護フレームワークが偏見と不公平を増すか否かを問う。 PATEは個人と個人のグループ間で精度の相違をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-09-17T16:19:24Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。