論文の概要: Private Federated Learning with Autotuned Compression
- arxiv url: http://arxiv.org/abs/2307.10999v1
- Date: Thu, 20 Jul 2023 16:27:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 12:09:31.733282
- Title: Private Federated Learning with Autotuned Compression
- Title（参考訳）: 自動圧縮によるプライベートフェデレーション学習
- Authors: Enayat Ullah, Christopher A. Choquette-Choo, Peter Kairouz, Sewoong Oh
- Abstract要約: 我々は,圧縮率の設定やチューニングを必要とせずに,プライベートフェデレーション学習におけるコミュニケーションを減らす新しい手法を提案する。
我々のオンザフライ方式は、トレーニング中に発生するエラーに基づいて自動的に圧縮率を調整し、保証可能なプライバシ保証を維持している。
チューニングを必要とせず、良好な圧縮率を達成し、実世界のデータセットに対するアプローチの有効性を実証する。
- 参考スコア（独自算出の注目度）: 44.295638792312694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose new techniques for reducing communication in private federated
learning without the need for setting or tuning compression rates. Our
on-the-fly methods automatically adjust the compression rate based on the error
induced during training, while maintaining provable privacy guarantees through
the use of secure aggregation and differential privacy. Our techniques are
provably instance-optimal for mean estimation, meaning that they can adapt to
the ``hardness of the problem" with minimal interactivity. We demonstrate the
effectiveness of our approach on real-world datasets by achieving favorable
compression rates without the need for tuning.
- Abstract（参考訳）: 我々は,圧縮率の設定やチューニングを必要とせずに,プライベートフェデレーション学習におけるコミュニケーションを減らす新しい手法を提案する。
我々のオンザフライ方式は,セキュアアグリゲーションとディファレンシャルプライバシを使用して,証明可能なプライバシ保証を維持しつつ,トレーニング中のエラーに基づいて圧縮率を自動的に調整する。
提案手法は, 平均推定において, 「問題の硬さ」に適応し, 最小の相互作用性で適応できることを示す。
本手法は,チューニングを必要とせず,良好な圧縮率を達成し,実世界のデータセット上での有効性を示す。
関連論文リスト
- Federated Cubic Regularized Newton Learning with Sparsification-amplified Differential Privacy [10.396575601912673]
そこで我々は,DP-FCRN (differially Private Federated Cubic Regularized Newton) というフェデレーション学習アルゴリズムを導入する。
2次手法を活用することにより,本アルゴリズムは1次手法に比べてイテレーションの複雑さを小さくする。
また、プライバシーを確保するために、局所的な計算中にノイズの摂動も取り入れる。
論文 参考訳（メタデータ） (2024-08-08T08:48:54Z) - Communication Efficient Private Federated Learning Using Dithering [2.5155469469412877]
本研究では,クライアントにおける減算ディザリングに基づく量子化方式を用いることで,アグリゲータにおける通常の雑音付加処理を効果的に再現できることを示す。
これは、他のクライアントに対して同じレベルの差分プライバシーを保証すると同時に、必要な通信量を大幅に削減できることを意味します。
論文 参考訳（メタデータ） (2023-09-14T15:55:58Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - Breaking the Communication-Privacy-Accuracy Tradeoff with
$f$-Differential Privacy [51.11280118806893]
サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。
有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。
より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
論文 参考訳（メタデータ） (2023-02-19T16:58:53Z) - On the Interaction Between Differential Privacy and Gradient Compression
in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。
勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文 参考訳（メタデータ） (2022-11-01T20:28:45Z) - SoteriaFL: A Unified Framework for Private Federated Learning with
Communication Compression [40.646108010388986]
本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。
プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
論文 参考訳（メタデータ） (2022-06-20T16:47:58Z) - Accordion: Adaptive Gradient Communication via Critical Learning Regime
Identification [12.517161466778655]
分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。
これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。
本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。
適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
論文 参考訳（メタデータ） (2020-10-29T16:41:44Z) - Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文 参考訳（メタデータ） (2020-10-14T20:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。