論文の概要: HyperFed: Hyperbolic Prototypes Exploration with Consistent Aggregation
for Non-IID Data in Federated Learning
- arxiv url: http://arxiv.org/abs/2307.14384v1
- Date: Wed, 26 Jul 2023 02:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 17:06:47.029235
- Title: HyperFed: Hyperbolic Prototypes Exploration with Consistent Aggregation
for Non-IID Data in Federated Learning
- Title（参考訳）: HyperFed: フェデレーション学習における非IIDデータの一貫性集約による双曲型探索
- Authors: Xinting Liao, Weiming Liu, Chaochao Chen, Pengyang Zhou, Huabin Zhu,
Yanchao Tan, Jun Wang and Yue Qi
- Abstract要約: フェデレーション学習(FL)は、分散された方法でユーザデータを協調的にモデル化する。
実世界では、クライアント間の非同一・独立データ分散(非IID)は、クラス統計のシフト、(2)階層的情報利用の不十分、(3)集約における不整合という3つの問題により、FLの性能を阻害する。
- 参考スコア（独自算出の注目度）: 14.503047600805436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) collaboratively models user data in a decentralized
way. However, in the real world, non-identical and independent data
distributions (non-IID) among clients hinder the performance of FL due to three
issues, i.e., (1) the class statistics shifting, (2) the insufficient
hierarchical information utilization, and (3) the inconsistency in aggregating
clients. To address the above issues, we propose HyperFed which contains three
main modules, i.e., hyperbolic prototype Tammes initialization (HPTI),
hyperbolic prototype learning (HPL), and consistent aggregation (CA). Firstly,
HPTI in the server constructs uniformly distributed and fixed class prototypes,
and shares them with clients to match class statistics, further guiding
consistent feature representation for local clients. Secondly, HPL in each
client captures the hierarchical information in local data with the supervision
of shared class prototypes in the hyperbolic model space. Additionally, CA in
the server mitigates the impact of the inconsistent deviations from clients to
server. Extensive studies of four datasets prove that HyperFed is effective in
enhancing the performance of FL under the non-IID set.
- Abstract（参考訳）: フェデレーション学習(fl)は、分散した方法でユーザデータを協調的にモデル化する。
しかし,実世界では,クライアント間の非同一・独立データ分散(非IID)は,(1)クラス統計のシフト,(2)階層的情報利用の不十分,(3)集約における不整合という3つの問題により,FLの性能を阻害する。
以上の課題に対処するため,HyperFed はハイパーボリックプロトタイプ Tammes 初期化 (HPTI) ,ハイパーボリックプロトタイプ学習 (HPL) ,一貫性のあるアグリゲーション (CA) の3つの主要モジュールを含む。
第一に、サーバ内のhptiは一様分散および固定クラスのプロトタイプを構築し、それらをクラス統計にマッチするクライアントと共有し、さらにローカルクライアントのための一貫した機能表現を導く。
第二に、各クライアントのHPLは、双曲モデル空間における共有クラスプロトタイプの監督により、ローカルデータの階層情報をキャプチャする。
さらに、サーバ内のCAは、クライアントからサーバへの一貫性のない逸脱の影響を軽減する。
4つのデータセットの大規模な研究により、HyperFedは非IIDデータセット下でのFLの性能向上に有効であることが証明された。
関連論文リスト
- Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Boosting Federated Learning Convergence with Prototype Regularization [46.23872011375391]
本稿では,クライアント間の異種データ分散に対処するプロトタイプベースの正規化戦略を提案する。
MNISTとFashion-MNISTの実験結果から,提案手法は平均テスト精度が3.3%,8.9%向上したことがわかった。
論文 参考訳（メタデータ） (2023-07-20T04:35:50Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - Anomaly Detection through Unsupervised Federated Learning [0.0]
フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。
本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。
結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
論文 参考訳（メタデータ） (2022-09-09T08:45:47Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳（メタデータ） (2020-10-18T13:28:30Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。