論文の概要: Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach
- arxiv url: http://arxiv.org/abs/2401.02453v1
- Date: Thu, 4 Jan 2024 03:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 17:18:31.570788
- Title: Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach
- Title（参考訳）: フェデレーション学習における適応的微分プライバシー--優先順位に基づくアプローチ
- Authors: Mahtab Talaei, Iman Izadi
- Abstract要約: フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) as one of the novel branches of distributed machine
learning (ML), develops global models through a private procedure without
direct access to local datasets. However, access to model updates (e.g.
gradient updates in deep neural networks) transferred between clients and
servers can reveal sensitive information to adversaries. Differential privacy
(DP) offers a framework that gives a privacy guarantee by adding certain
amounts of noise to parameters. This approach, although being effective in
terms of privacy, adversely affects model performance due to noise involvement.
Hence, it is always needed to find a balance between noise injection and the
sacrificed accuracy. To address this challenge, we propose adaptive noise
addition in FL which decides the value of injected noise based on features'
relative importance. Here, we first propose two effective methods for
prioritizing features in deep neural network models and then perturb models'
weights based on this information. Specifically, we try to figure out whether
the idea of adding more noise to less important parameters and less noise to
more important parameters can effectively save the model accuracy while
preserving privacy. Our experiments confirm this statement under some
conditions. The amount of noise injected, the proportion of parameters
involved, and the number of global iterations can significantly change the
output. While a careful choice of parameters by considering the properties of
datasets can improve privacy without intense loss of accuracy, a bad choice can
make the model performance worse.
- Abstract（参考訳）: 分散機械学習(ml)の新たな分野の一つであるフェデレーション・ラーニング(fl)は、ローカルデータセットに直接アクセスすることなく、プライベートプロシージャを通じてグローバルモデルを開発する。
しかしながら、クライアントとサーバ間で転送されるモデル更新(例えば、ディープニューラルネットワークの勾配更新)へのアクセスは、敵に機密情報を明らかにすることができる。
差分プライバシー(DP)は、パラメータに一定のノイズを加えることでプライバシーを保証するフレームワークを提供する。
このアプローチは、プライバシーの観点からは有効であるが、ノイズによるモデル性能に悪影響を及ぼす。
したがって、ノイズ注入と犠牲となる精度のバランスを見つけることが常に必要となる。
この課題に対処するために,特徴量の相対的重要性に基づいて入射雑音の値を決定するFLの適応雑音加算を提案する。
本稿では,まず,ディープニューラルネットワークモデルの特徴を優先順位付けする2つの効果的な手法を提案し,その情報に基づいてモデルの重みを摂動させる。
具体的には、より重要でないパラメータにノイズを追加し、より重要なパラメータにノイズを少なくするというアイデアが、プライバシーを保ちながらモデルの精度を効果的に節約できるかどうかを見極めようとしている。
実験ではいくつかの条件でこの声明を確認した。
ノイズの注入量、関連するパラメータの比率、グローバルイテレーションの回数は、出力を大きく変えることができる。
データセットの特性を考慮してパラメータを慎重に選択することは、精度を著しく損なうことなくプライバシを改善することができるが、悪い選択はモデルのパフォーマンスを悪化させる可能性がある。
関連論文リスト
- Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。
ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
論文 参考訳（メタデータ） (2024-10-03T19:02:50Z) - Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
クライアントとサーバ間で転送されるモデル更新にアクセスすることが可能で、敵に機密性の高いローカル情報を公開する可能性がある。
微分プライバシー(DP)は、パラメータにノイズを加えることでこの問題に対処するための有望なアプローチを提供する。
本稿では、クライアントの相対的影響要因に基づいてノイズを注入し、パラメータを集約するパーソナライズされたDPフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-26T16:55:07Z) - Certification for Differentially Private Prediction in Gradient-Based Training [36.686002369773014]
我々は凸緩和と有界伝播を用いて、予測の局所的および滑らかな感度の証明可能な上界を計算する。
このバウンダリによって、プライベートな予測設定で付加されるノイズの規模を減らしたり、プライバシ会計を改善することができます。
論文 参考訳（メタデータ） (2024-06-19T10:47:00Z) - Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。
ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文 参考訳（メタデータ） (2024-06-05T17:41:42Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳（メタデータ） (2023-03-07T22:52:40Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳（メタデータ） (2022-04-15T22:36:55Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳（メタデータ） (2022-04-03T11:10:05Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。