Fugu-MT 論文翻訳(概要): Federated Skewed Label Learning with Logits Fusion

論文の概要: Federated Skewed Label Learning with Logits Fusion

arxiv url: http://arxiv.org/abs/2311.08202v1
Date: Tue, 14 Nov 2023 14:37:33 GMT
ステータス: 処理完了
システム内更新日: 2023-11-15 13:51:03.255503
Title: Federated Skewed Label Learning with Logits Fusion
Title（参考訳）: Logits Fusionによるフェデレート・スキュード・ラベル学習
Authors: Yuwei Wang, Runhan Li, Hao Tan, Xuefeng Jiang, Sheng Sun, Min Liu, Bo Gao, Zhiyuan Wu
Abstract要約: フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
参考スコア（独自算出の注目度）: 23.062650578266837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) aims to collaboratively train a shared model across multiple clients without transmitting their local data. Data heterogeneity is a critical challenge in realistic FL settings, as it causes significant performance deterioration due to discrepancies in optimization among local models. In this work, we focus on label distribution skew, a common scenario in data heterogeneity, where the data label categories are imbalanced on each client. To address this issue, we propose FedBalance, which corrects the optimization bias among local models by calibrating their logits. Specifically, we introduce an extra private weak learner on the client side, which forms an ensemble model with the local model. By fusing the logits of the two models, the private weak learner can capture the variance of different data, regardless of their category. Therefore, the optimization direction of local models can be improved by increasing the penalty for misclassifying minority classes and reducing the attention to majority classes, resulting in a better global model. Extensive experiments show that our method can gain 13\% higher average accuracy compared with state-of-the-art methods.
Abstract（参考訳）: フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。データの不均一性は、局所モデル間での最適化の相違による大幅な性能劣化を引き起こすため、現実的なFL設定において重要な課題である。本研究では,データラベルのカテゴリが各クライアントで不均衡であるデータ不均一性の一般的なシナリオであるラベル分布スキューに着目した。この問題を解決するためにFedBalanceを提案し,ロジットの校正によって局所モデル間の最適化バイアスを補正する。具体的には,ローカルモデルを用いたアンサンブルモデルを形成するクライアントサイドに,余分なプライベートな弱学習器を導入する。 2つのモデルのロジットを融合することで、プライベートな弱い学習者は、カテゴリに関係なく、異なるデータのばらつきを捉えることができる。したがって、マイノリティクラスを誤分類し、多数派への注意を減らし、グローバルモデルを改善することで、ローカルモデルの最適化方向を改善することができる。実験結果から,本手法は最先端手法に比べて平均精度が13倍高いことがわかった。

関連論文リスト

FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文参考訳（メタデータ） (2024-09-18T16:25:29Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文参考訳（メタデータ） (2024-04-14T10:23:30Z)
Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文参考訳（メタデータ） (2023-12-11T10:44:52Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
論文参考訳（メタデータ） (2023-05-18T05:58:24Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文参考訳（メタデータ） (2023-03-30T17:30:42Z)
FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文参考訳（メタデータ） (2023-02-15T03:42:59Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。