論文の概要: Enhancing Privacy in Federated Learning through Local Training

• arxiv url: http://arxiv.org/abs/2403.17572v1
• Date: Tue, 26 Mar 2024 10:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:47:16.918877
• Title: Enhancing Privacy in Federated Learning through Local Training
• Title（参考訳）: 地域教育によるフェデレーション学習におけるプライバシ向上
• Authors: Nicola Bastianello, Changxin Liu, Karl H. Johansson,
• Abstract要約: 我々は,(i)高価なコミュニケーションと(ii)プライバシー保護の課題を克服するために,フェデレートラーニングのためのtheFed-PLTを提案する。 i) 中央コーディネータと計算機エージェント間の通信回数を大幅に削減し, 部分的参加と局所訓練の両立を可能にした。 エージェントは、(確率的な)勾配降下や加速された勾配降下など、様々な局所的な訓練解法から選択する柔軟性がある。
• 参考スコア（独自算出の注目度）: 2.1096737598952853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we propose the federated private local training algorithm (Fed-PLT) for federated learning, to overcome the challenges of (i) expensive communications and (ii) privacy preservation. We address (i) by allowing for both partial participation and local training, which significantly reduce the number of communication rounds between the central coordinator and computing agents. The algorithm matches the state of the art in the sense that the use of local training demonstrably does not impact accuracy. Additionally, agents have the flexibility to choose from various local training solvers, such as (stochastic) gradient descent and accelerated gradient descent. Further, we investigate how employing local training can enhance privacy, addressing point (ii). In particular, we derive differential privacy bounds and highlight their dependence on the number of local training epochs. We assess the effectiveness of the proposed algorithm by comparing it to alternative techniques, considering both theoretical analysis and numerical results from a classification task.
• Abstract（参考訳）: 本稿では,フェデレーション学習のためのフェデレーション・プライベート・ローカル・トレーニング・アルゴリズム(Fed-PLT)を提案する。 (i)高価な通信及び通信 (二)プライバシー保護 特集にあたって (i) 中央コーディネータと計算機エージェント間の通信ラウンドの数を著しく減少させる部分的参加と局所訓練の両立を可能にした。 このアルゴリズムは、ローカルトレーニングの使用が明らかに正確性に影響を与えないという意味で、最先端のアルゴリズムと一致している。 さらに、エージェントは、(確率的な)勾配降下や加速された勾配降下など、様々な局所的なトレーニングソルバから選択する柔軟性がある。 さらに,ローカルトレーニングの活用がプライバシ,対処ポイントをいかに向上させるかを検討する。 (II)。 特に、差分プライバシー境界を導出し、局所的なトレーニングエポックの数への依存を強調する。 提案手法を他の手法と比較することにより,提案手法の有効性を評価する。

関連論文リスト

• Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs [2.1271873498506038]
  本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。 提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
  論文  参考訳（メタデータ） (2023-10-24T18:15:25Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
  私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。 本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。 提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
  論文  参考訳（メタデータ） (2023-07-13T08:36:15Z)
• Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning [7.691755449724637]
  通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。 そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:58:01Z)
• Exploring Low Rank Training of Deep Neural Networks [49.18122605463354]
  低ランクのディープニューラルネットワークのトレーニングは、メモリ消費とトレーニング時間の両方の観点から、非リファクタリングトレーニングよりも効率がよい。 我々は、実際にうまく機能する技術を分析し、GPT2のようなモデルに対する広範囲な改善を通じて、この分野における共通の信念を偽示する証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-27T17:43:45Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Federated Learning for Localization: A Privacy-Preserving Crowdsourcing Method [0.0]
  RSS(Signal Strength)指紋ベースのローカライゼーションは、多くの研究成果を惹きつけ、多くの商業的応用を育ててきた。 DLの機能を抽出し、自律的に分類する能力は、指紋ベースのローカライゼーションの魅力的なソリューションとなる。 本稿では,RSS指紋による位置推定の精度を向上させるために,フェデレーション学習を利用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。