論文の概要: FedHP: Heterogeneous Federated Learning with Privacy-preserving
- arxiv url: http://arxiv.org/abs/2301.11705v1
- Date: Fri, 27 Jan 2023 13:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 15:37:11.421678
- Title: FedHP: Heterogeneous Federated Learning with Privacy-preserving
- Title(参考訳): fedhp: プライバシ保護によるヘテロジニアスフェデレート学習
- Authors: Kuang Hangdong and Mi Bo
- Abstract要約: フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。
本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。
勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning is a distributed machine learning environment, which
ensures that clients complete collaborative training without sharing private
data, only by exchanging parameters. However, the data does not satisfy the
same distribution and the computing resources of clients are different, which
brings challenges to the related research. To better solve the above
heterogeneous problems, we designed a novel federated learning method. The
local model consists of the pre-trained model as the backbone and fully
connected layers as the head. The backbone can extract features for the head,
and the embedding vector of classes is shared between clients to optimize the
head so that the local model can perform better. By sharing the embedding
vector of classes, instead of parameters based on gradient space, clients can
better adapt to private data, and it is more efficient in the communication
between the server and clients. To better protect privacy, we proposed a
privacy-preserving hybrid method to add noise to the embedding vector of
classes, which has less impact on the local model performance under the premise
of satisfying differential privacy. We conduct a comprehensive evaluation with
other federated learning methods on the self-built vehicle dataset under
non-independent identically distributed(Non-IID)
- Abstract(参考訳): Federated Learningは分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。
しかし、データは同じ分布を満足せず、クライアントのコンピューティングリソースが異なるため、関連する研究に課題が生じる。
上記の異種問題を改善するために,我々は新しいフェデレーション学習法を考案した。
ローカルモデルは、トレーニング済みモデルをバックボーンとして、完全に接続されたレイヤをヘッドとして構成する。
バックボーンはヘッドの機能を抽出し、クラスを埋め込んだベクタをクライアント間で共有してヘッドを最適化することで、ローカルモデルのパフォーマンスが向上する。
勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することによって、クライアントはプライベートデータへの適応性が向上し、サーバとクライアント間の通信がより効率的になる。
プライバシをより保護するために,差分プライバシを満たす前提下での局所モデル性能への影響を低減し,組込みベクトルにノイズを付加するハイブリッド手法を提案する。
非独立な同一分散(Non-IID)に基づく自己構築車種データセット上で、他のフェデレーション学習手法による包括的評価を行う。
関連論文リスト
- Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。
提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。
その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
論文 参考訳(メタデータ) (2024-11-07T13:25:52Z) - Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳(メタデータ) (2024-06-24T12:16:51Z) - Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳(メタデータ) (2024-06-17T02:20:30Z) - Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。
本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-27T06:37:19Z) - Brain Storm Optimization Based Swarm Learning for Diabetic Retinopathy Image Classification [5.440545944342685]
本稿では,ブレインストーム最適化アルゴリズムを,BSO-SLという名称のSwarm学習フレームワークに統合する。
実際の糖尿病網膜症画像分類データセットを用いて,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-24T01:37:20Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-25T08:32:08Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。