論文の概要: Enhanced Privacy and Communication Efficiency in Non-IID Federated Learning with Adaptive Quantization and Differential Privacy
- arxiv url: http://arxiv.org/abs/2604.23426v1
- Date: Sat, 25 Apr 2026 19:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.329618
- Title: Enhanced Privacy and Communication Efficiency in Non-IID Federated Learning with Adaptive Quantization and Differential Privacy
- Title(参考訳): 適応量子化と微分プライバシーを用いた非IIDフェデレーション学習におけるプライバシーとコミュニケーション効率の向上
- Authors: Emre Ardıç, Yakup Genç,
- Abstract要約: Federated Learning(FL)は、複数のデバイスが基盤となるデータを共有することなく、協調的にモデルをトレーニングする分散機械学習手法である。
FLの主な課題の1つは、接続速度とデバイス間の帯域幅の変化によって引き起こされる通信ボトルネックである。
我々は、差分プライバシー(DP)と適応量子化法を組み合わせて、プライバシーと通信効率の両方に対処する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning (FL) is a distributed machine learning method where multiple devices collaboratively train a model under the management of a central server without sharing underlying data. One of the key challenges of FL is the communication bottleneck caused by variations in connection speed and bandwidth across devices. Therefore, it is essential to reduce the size of transmitted data during training. Additionally, there is a potential risk of exposing sensitive information through the model or gradient analysis during training. To address both privacy and communication efficiency, we combine differential privacy (DP) and adaptive quantization methods. We use Laplacian-based DP to preserve privacy, which is relatively underexplored in FL and offers tighter privacy guarantees than Gaussian-based DP. We propose a simple and efficient global bit-length scheduler using round-based cosine annealing, along with a client-based scheduler that dynamically adapts based on client contribution estimated through dataset entropy analysis. We evaluate our approach through extensive experiments on CIFAR10, MNIST, and medical imaging datasets, using non-IID data distributions across varying client counts, bit-length schedulers, and privacy budgets. The results show that our adaptive quantization methods reduce total communicated data by up to 52.64% for MNIST, 45.06% for CIFAR10, and 31% to 37% for medical imaging datasets compared to 32-bit float training while maintaining competitive model accuracy and ensuring robust privacy through differential privacy.
- Abstract(参考訳): Federated Learning(FL)は、複数のデバイスが基盤となるデータを共有することなく、中央サーバの管理下でモデルを協調的にトレーニングする分散機械学習手法である。
FLの主な課題の1つは、接続速度とデバイス間の帯域幅の変化によって引き起こされる通信ボトルネックである。
したがって、トレーニング中に送信されるデータのサイズを減らすことが不可欠である。
さらに、トレーニング中にモデルや勾配分析を通じて機密情報を暴露する危険性もある。
プライバシーと通信効率の両方に対処するため、差分プライバシー(DP)と適応量子化法を組み合わせる。
プライバシーの保護にはラプラシアのDPが使われており、これはFLでは比較的過小評価されており、ガウスのDPよりも厳格なプライバシー保証を提供している。
本稿では,ラウンドベースコサインアニールを用いた簡便で効率的なグローバルビット長スケジューラと,データセットエントロピー解析により推定したクライアントコントリビューションに基づいて動的に適応するクライアントベースのスケジューラを提案する。
我々は,CIFAR10,MNIST,医療画像データセットに関する広範な実験を通じて,クライアント数,ビット長スケジューラ,プライバシ予算にまたがる非IIDデータ分布を用いて,我々のアプローチを評価する。
その結果、我々の適応量子化法は、MNISTが52.64%、CIFAR10が45.06%、医療画像データセットが32ビットフロートトレーニングと比較して31%から37%まで減少し、競合モデルの精度を維持し、差分プライバシによる堅牢なプライバシーを確保した。
関連論文リスト
- Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs [0.13108652488669734]
フェデレートラーニング(FL)は、分散トレーニングを可能にするが、高いコミュニケーションコストに悩まされる。
差分的プライベート(DP)生成モデルを用いたデータ共有手法を提案する。
クライアントは、グローバルでプライバシを意識したデータ配布をモデル化するために、差分的にプライベートな条件変分自動エンコーダ(DP-CVAE)を共同でトレーニングする。
論文 参考訳(メタデータ) (2025-07-03T14:36:15Z) - A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation [5.011091042850546]
医用画像解析に基礎モデルを適用するには、かなりの量のデータでそれらを微調整する必要がある。
このような微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。
フェデレーテッド・ラーニング(FL)は、プライベートな分散データをトレーニングするための効果的な手段を提供するが、大規模な基盤モデルをフェデレーテッドする際の通信コストは、すぐに重大なボトルネックとなる可能性がある。
論文 参考訳(メタデータ) (2024-07-31T16:48:06Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - DCFL: Non-IID awareness Data Condensation aided Federated Learning [0.8158530638728501]
フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。
問題は、クライアントサイドのプライベートデータが同一かつ独立して分散されないという事実にある。
本稿では、CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し、IID非認識のデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
論文 参考訳(メタデータ) (2023-12-21T13:04:24Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Federated Transfer-Ordered-Personalized Learning for Driver Monitoring
Application [15.731990691086123]
フェデレートラーニング(FL)は、自動車インターネット(IoV)上の運転監視アプリケーション(DMA)など、様々な分野に適用されている。
本稿では,FedTOP(Federated Transfer-ordered-personalized Learning)フレームワークを提案する。
この結果は、提案されたFedTOPが、高度に正確で、合理化され、プライバシー保護され、サイバーセキュリティ指向で、DMAのためのパーソナライズされたフレームワークとして使用できることを示している。
論文 参考訳(メタデータ) (2023-01-12T06:12:04Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。