論文の概要: Efficient and Secure Federated Learning for Financial Applications
- arxiv url: http://arxiv.org/abs/2303.08355v1
- Date: Wed, 15 Mar 2023 04:15:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 18:26:05.951042
- Title: Efficient and Secure Federated Learning for Financial Applications
- Title（参考訳）: 金融応用のための効率的でセキュアな連合学習
- Authors: Tao Liu, Zhi Wang, Hui He, Wei Shi, Liangliang Lin, Wei Shi, Ran An,
Chenhao Li
- Abstract要約: 本稿では,フェデレート学習における通信コスト削減のための2つのスペーシング手法を提案する。
1つは、モデルパラメータ更新のための時間変化の階層的スペーシフィケーション法であり、高比のスペーシリティ後のモデル精度を維持する問題の解決である。
もう1つは、セキュアアグリゲーションフレームワークにスパシフィケーション手法を適用することである。
- 参考スコア（独自算出の注目度）: 15.04345368582332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conventional machine learning (ML) and deep learning approaches need to
share customers' sensitive information with an external credit bureau to
generate a prediction model that opens the door to privacy leakage. This
leakage risk makes financial companies face an enormous challenge in their
cooperation. Federated learning is a machine learning setting that can protect
data privacy, but the high communication cost is often the bottleneck of the
federated systems, especially for large neural networks. Limiting the number
and size of communications is necessary for the practical training of large
neural structures. Gradient sparsification has received increasing attention as
a method to reduce communication cost, which only updates significant gradients
and accumulates insignificant gradients locally. However, the secure
aggregation framework cannot directly use gradient sparsification. This article
proposes two sparsification methods to reduce communication cost in federated
learning. One is a time-varying hierarchical sparsification method for model
parameter update, which solves the problem of maintaining model accuracy after
high ratio sparsity. It can significantly reduce the cost of a single
communication. The other is to apply the sparsification method to the secure
aggregation framework. We sparse the encryption mask matrix to reduce the cost
of communication while protecting privacy. Experiments show that under
different Non-IID experiment settings, our method can reduce the upload
communication cost to about 2.9% to 18.9% of the conventional federated
learning algorithm when the sparse rate is 0.01.
- Abstract（参考訳）: 従来の機械学習(ML)とディープラーニングアプローチでは、顧客の機密情報を外部クレジット局と共有して、プライバシー漏洩のドアを開く予測モデルを生成する必要がある。
この漏洩リスクは、金融機関が協力する上で大きな課題に直面している。
フェデレーション学習(Federated Learning)は、データのプライバシを保護するマシンラーニング設定だが、特に大規模なニューラルネットワークにおいて、フェデレーションシステムのボトルネックとなることが多い。
大きな神経構造の実践的な訓練には,コミュニケーションの数と規模を制限する必要がある。
勾配スパーシフィケーションは通信コストを下げる手段として注目を集めており、重要な勾配のみを更新し、局所的に重要な勾配を蓄積する。
しかし、セキュアアグリゲーションフレームワークはグラデーションスペーシフィケーションを直接使うことはできない。
本稿では,連合学習におけるコミュニケーションコストを削減するための2つのスパーシフィケーション手法を提案する。
1つは、モデルパラメータ更新のための時間変化の階層的スペーシフィケーション法であり、高比のスペーシリティ後のモデル精度を維持する問題の解決である。
単一の通信のコストを大幅に削減することができる。
もう1つは、セキュアアグリゲーションフレームワークにスパーシフィケーションメソッドを適用することである。
プライバシーを保護しながら通信コストを削減するため、暗号化マスクマトリックスを分離する。
実験結果から, スパース率0.01の場合, 従来のフェデレート学習アルゴリズムの約2.9%から18.9%のアップロード通信コストを削減できることがわかった。
関連論文リスト
- Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - Federated Hyperdimensional Computing [14.844383542052169]
フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。
既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。
我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
論文 参考訳（メタデータ） (2023-12-26T09:24:19Z) - Enhancing Heterogeneous Federated Learning with Knowledge Extraction and
Multi-Model Fusion [9.106417025722756]
本稿では,エッジデバイス上での機械学習モデルをセンシティブなデータにアクセスせずにトレーニングする,新しいフェデレーション学習(FL)手法を提案する。
本稿では,エッジモデルから局所的な知識を集約し,それを知識蒸留を通じて堅牢なグローバルな知識に蒸留する資源対応FL法を提案する。
提案手法は,既存のFLアルゴリズムと比較して,異種データとモデルにおける通信コストと性能を向上する。
論文 参考訳（メタデータ） (2022-08-16T22:31:50Z) - Sparsified Secure Aggregation for Privacy-Preserving Federated Learning [1.2891210250935146]
セキュアアグリゲーションのための軽量な勾配スペーシフィケーションフレームワークを提案する。
提案手法は,セキュアアグリゲーションの通信オーバヘッドを大幅に低減できることを示す。
実験により,従来のセキュアなベンチマークと比較すると,我々のフレームワークは通信オーバーヘッドを最大7.8倍削減し,壁時計のトレーニング時間を1.13倍短縮することを示した。
論文 参考訳（メタデータ） (2021-12-23T22:44:21Z) - SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning [3.5394650810262336]
効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
論文 参考訳（メタデータ） (2021-11-29T06:28:05Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - Efficient and Private Federated Learning with Partially Trainable
Networks [8.813191488656527]
我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。
FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。
このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
論文 参考訳（メタデータ） (2021-10-06T04:28:33Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。