論文の概要: FedAUXfdp: Differentially Private One-Shot Federated Distillation

• arxiv url: http://arxiv.org/abs/2205.14960v1
• Date: Mon, 30 May 2022 09:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 02:53:42.285080
• Title: FedAUXfdp: Differentially Private One-Shot Federated Distillation
• Title（参考訳）: FedAUXfdp: 独自の1ショットフェデレーション蒸留
• Authors: Haley Hoech, Roman Rischke, Karsten M\"uller, Wojciech Samek
• Abstract要約: FedAUXは、高度に異質なクライアントデータに対して堅牢な結果をもたらす、連邦蒸留の強化である。 大規模な画像データセット上のディープネットワークの実験では、強い差分プライバシー保証を持つFedAUXfdpは他のSOTAベースラインよりも大幅にパフォーマンスが向上した。
• 参考スコア（独自算出の注目度）: 11.28272643576878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning suffers in the case of non-iid local datasets, i.e., when the distributions of the clients' data are heterogeneous. One promising approach to this challenge is the recently proposed method FedAUX, an augmentation of federated distillation with robust results on even highly heterogeneous client data. FedAUX is a partially $(\epsilon, \delta)$-differentially private method, insofar as the clients' private data is protected in only part of the training it takes part in. This work contributes a fully differentially private extension, termed FedAUXfdp. In experiments with deep networks on large-scale image datasets, FedAUXfdp with strong differential privacy guarantees performs significantly better than other equally privatized SOTA baselines on non-iid client data in just a single communication round. Full privatization results in a negligible reduction in accuracy at all levels of data heterogeneity.
• Abstract（参考訳）: フェデレーション学習は、非iidのローカルデータセット、すなわち、クライアントのデータの分布が不均一である場合に発生する。 この課題に対する1つの有望なアプローチは、高度に異質なクライアントデータに対する堅牢な結果を伴うフェデレーション蒸留の拡張である、最近提案されたFedAUXである。 FedAUXは部分的に$(\epsilon, \delta)$-differentially privateメソッドである。 この研究はFedAUXfdpと呼ばれる完全微分プライベート拡張に寄与する。 大規模な画像データセット上でのディープネットワークの実験では、強力な差分プライバシー保証を持つFedAUXfdpは、単一の通信ラウンドで、非IDクライアントデータ上の他の平等に民営化されたSOTAベースラインよりも大幅にパフォーマンスが向上する。 完全な民営化は、あらゆるレベルのデータの不均一性において、絶対的な精度の低下をもたらす。

関連論文リスト

• Federated Instruction Tuning of LLMs with Domain Coverage Augmentation [35.54111318340366]
  Federated Domain-specific Instruction Tuning (FedDIT)は、クロスクライアントなプライベートデータとサーバサイドの公開データを使って、命令拡張を行う。 我々は,欲求のあるクライアントセンターの選択と検索に基づく拡張を通じて,ドメインカバレッジを最適化するFedDCAを提案する。 また,多量の公開データを用いたメモリ抽出攻撃に対するプライバシ保護についても検討した。
  論文  参考訳（メタデータ） (2024-09-30T09:34:31Z)
• Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
  我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。 グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。 異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
  論文  参考訳（メタデータ） (2024-02-10T17:39:34Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• FLAIM: AIM-based Synthetic Data Generation in the Federated Setting [18.38046354606749]
  DistAIMとFLAIMは、プライベートデータの統計特性を反映した合成データを作成するために提案されている。 AIMを経口投与することにより,異質性の存在下での実用性は著しく低下する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-05T10:34:47Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data [20.757477553095637]
  Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。 連合学習における大きな課題は、局所データが不均一であるときに生じる。 我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
  論文  参考訳（メタデータ） (2022-06-01T18:00:48Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Federated $f$-Differential Privacy [19.499120576896228]
  フェデレートラーニング(Federated Learning, FL)とは、クライアントが繰り返し情報を共有することによってモデルを学ぶ訓練パラダイムである。 フェデレーション設定に特化した新しい概念である、フェデレーション$f$-differenceプライバシを紹介します。 そこで我々は,最先端flアルゴリズムの大規模ファミリーに対応する汎用的federated learningフレームワークprifedsyncを提案する。
  論文  参考訳（メタデータ） (2021-02-22T16:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。