論文の概要: The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to
Improve Generalization, Stability, and Privacy in Federated Learning
- arxiv url: http://arxiv.org/abs/2311.05790v1
- Date: Thu, 9 Nov 2023 23:36:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 16:38:03.181102
- Title: The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to
Improve Generalization, Stability, and Privacy in Federated Learning
- Title（参考訳）: 騒音のパラドックス:フェデレーション学習における一般化,安定性,プライバシ向上のためのノイズ注入機構の実証的研究
- Authors: Elaheh Jafarigol, Theodore Trafalis
- Abstract要約: 本研究では,付加雑音の存在下でのディープラーニングモデルのプライバシ,一般化,安定性について検討する。
我々は、ノイズ注入モデルのプライバシとトレーニング精度のトレードオフの尺度として、Signal-to-Noise Ratio (SNR) を用いる。
ノイズを正規化とプライバシ強化のツールとして活用することにより、堅牢でプライバシを意識したアルゴリズムの開発に寄与することを目指している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a data-centric era, concerns regarding privacy and ethical data handling
grow as machine learning relies more on personal information. This empirical
study investigates the privacy, generalization, and stability of deep learning
models in the presence of additive noise in federated learning frameworks. Our
main objective is to provide strategies to measure the generalization,
stability, and privacy-preserving capabilities of these models and further
improve them. To this end, five noise infusion mechanisms at varying noise
levels within centralized and federated learning settings are explored. As
model complexity is a key component of the generalization and stability of deep
learning models during training and evaluation, a comparative analysis of three
Convolutional Neural Network (CNN) architectures is provided. The paper
introduces Signal-to-Noise Ratio (SNR) as a quantitative measure of the
trade-off between privacy and training accuracy of noise-infused models, aiming
to find the noise level that yields optimal privacy and accuracy. Moreover, the
Price of Stability and Price of Anarchy are defined in the context of
privacy-preserving deep learning, contributing to the systematic investigation
of the noise infusion strategies to enhance privacy without compromising
performance. Our research sheds light on the delicate balance between these
critical factors, fostering a deeper understanding of the implications of
noise-based regularization in machine learning. By leveraging noise as a tool
for regularization and privacy enhancement, we aim to contribute to the
development of robust, privacy-aware algorithms, ensuring that AI-driven
solutions prioritize both utility and privacy.
- Abstract（参考訳）: データ中心の時代には、マシンラーニングが個人情報に依存しているため、プライバシや倫理的なデータ処理に関する懸念が高まる。
本研究では,連合学習フレームワークにおける追加雑音の存在下でのディープラーニングモデルのプライバシ,一般化,安定性について検討する。
私たちの主な目的は、これらのモデルの一般化、安定性、およびプライバシー保護能力を測定し、さらに改善するための戦略を提供することです。
この目的のために,集中型および連合型学習環境における騒音レベルの異なる5つのノイズ注入機構について検討した。
モデル複雑性は、訓練および評価中のディープラーニングモデルの一般化と安定性の重要な要素であるため、3つの畳み込みニューラルネットワーク(CNN)アーキテクチャの比較分析が提供される。
本稿では,ノイズ注入モデルにおけるプライバシとトレーニング精度のトレードオフの定量的尺度としてSNR(Signal-to-Noise Ratio)を導入し,最適なプライバシと精度が得られるノイズレベルを求める。
さらに,プライバシ保全深層学習の文脈において,安定性価格とアナキシー価格が定義されており,性能を損なうことなくプライバシを高めるためのノイズ注入戦略の体系的検討に寄与している。
我々の研究は、これらの重要な要因間の微妙なバランスに光を当て、機械学習におけるノイズベースの正規化の影響をより深く理解する。
ノイズを正規化とプライバシー強化のツールとして活用することにより、堅牢でプライバシを意識したアルゴリズムの開発に貢献し、AI駆動のソリューションがユーティリティとプライバシの両方を優先することを目指している。
関連論文リスト
- Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing [5.667290129954206]
フェデレートラーニング(FL)はIoT(Internet of Things)環境での効率的なデータ交換に不可欠である。
プライバシ保護によるフェデレーションハイパー次元コンピューティング(FedHDPrivacy)について紹介する。
FedHDPrivacyは、前回のラウンドから累積ノイズを理論的に追跡することで、プライバシとパフォーマンスのバランスを慎重に管理する。
論文 参考訳（メタデータ） (2024-11-02T05:00:44Z) - Synergizing Privacy and Utility in Data Analytics Through Advanced Information Theorization [2.28438857884398]
本稿では,高次元画像データに適したノイズ注入技術,ロバストな特徴抽出のための変分オートエンコーダ(VAE),構造化データプライバシに最適化された期待最大化(EM)アプローチの3つの高度なアルゴリズムを紹介する。
本手法は,機密属性と変換データ間の相互情報を著しく低減し,プライバシーを向上する。
この研究は、さまざまなデータタイプにまたがってプライバシ保護アルゴリズムをデプロイするための柔軟で効果的な戦略を提供することによって、この分野に貢献する。
論文 参考訳（メタデータ） (2024-04-24T22:58:42Z) - Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳（メタデータ） (2023-03-07T22:52:40Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。
最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。
本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
論文 参考訳（メタデータ） (2021-01-19T02:04:00Z) - DiPSeN: Differentially Private Self-normalizing Neural Networks For
Adversarial Robustness in Federated Learning [6.1448102196124195]
フェデレーション学習は、プライバシー侵害や情報の漏洩から保護するのに役立ちます。
機械学習モデルを敵のサンプルから防御することがより困難にする新しいリスクベクターを導入している。
DiPSeNは、差分プライバシーノイズの要素と自己正規化技術を組み合わせた差分プライベート自己正規化ニューラルネットワークです。
論文 参考訳（メタデータ） (2021-01-08T20:49:56Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。