Fugu-MT 論文翻訳(概要): Federated Learning with Label Distribution Skew via Logits Calibration

論文の概要: Federated Learning with Label Distribution Skew via Logits Calibration

arxiv url: http://arxiv.org/abs/2209.00189v1
Date: Thu, 1 Sep 2022 02:56:39 GMT
ステータス: 処理完了
システム内更新日: 2022-09-02 13:27:12.591139
Title: Federated Learning with Label Distribution Skew via Logits Calibration
Title（参考訳）: ログ校正によるラベル分布スキューによるフェデレーション学習
Authors: Jie Zhang, Zhiqi Li, Bo Li, Jianghe Xu, Shuang Wu, Shouhong Ding, Chao Wu
Abstract要約: 本稿では,FLにおけるラベル分布スキューについて検討する。本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
参考スコア（独自算出の注目度）: 26.98248192651355
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Traditional federated optimization methods perform poorly with heterogeneous data (ie, accuracy reduction), especially for highly skewed data. In this paper, we investigate the label distribution skew in FL, where the distribution of labels varies across clients. First, we investigate the label distribution skew from a statistical view. We demonstrate both theoretically and empirically that previous methods based on softmax cross-entropy are not suitable, which can result in local models heavily overfitting to minority classes and missing classes. Additionally, we theoretically introduce a deviation bound to measure the deviation of the gradient after local update. At last, we propose FedLC (\textbf {Fed} erated learning via\textbf {L} ogits\textbf {C} alibration), which calibrates the logits before softmax cross-entropy according to the probability of occurrence of each class. FedLC applies a fine-grained calibrated cross-entropy loss to local update by adding a pairwise label margin. Extensive experiments on federated datasets and real-world datasets demonstrate that FedLC leads to a more accurate global model and much improved performance. Furthermore, integrating other FL methods into our approach can further enhance the performance of the global model.
Abstract（参考訳）: 従来のフェデレーション最適化手法は不均一なデータ(すなわち精度の低下)、特に高度に歪んだデータに対して不適切な処理を行う。本稿では,クライアント間でラベルの分布が変化するflにおけるラベル分布スキューについて検討する。まず,統計的視点からラベル分布スキューについて検討する。我々は,従来のソフトマックスのクロスエントロピーに基づく手法が適切でないことを理論的および実証的に証明し,局所モデルがマイノリティクラスや欠落クラスに過度に適合することを示す。さらに,局所更新後の勾配の偏差を測定するための偏差を理論的に導入する。最後に,各クラスの発生確率に応じてソフトマックスクロスエントロピー前のロジットを結合するfeedlc (\textbf {fed} erated learning via\textbf {l} ogits\textbf {c} alibration)を提案する。 fedlcは、粒度調整されたクロスエントロピー損失を、ペアワイズラベルマージンを追加することでローカルアップデートに適用する。フェデレーションデータセットと実世界のデータセットに関する大規模な実験は、FedLCがより正確なグローバルモデルをもたらし、パフォーマンスが大幅に向上したことを示している。さらに,本手法に他のFL手法を組み込むことにより,グローバルモデルの性能をさらに向上させることができる。

関連論文リスト

Modeling Global Distribution for Federated Learning with Label Distribution Skew [15.417187554408104]
フェデレートラーニングは、分散化されたデータソースを接続することで、ディープモデルの共同トレーニングを実現する。より一般的な場合、クライアント間のラベルの分布は、ラベル分布スキューと呼ばれる異なる。本稿では,ラベル分散スキュー問題による性能劣化を軽減するために,FedMGDという新しいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2022-12-17T14:46:01Z)
Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文参考訳（メタデータ） (2022-11-12T09:21:49Z)
Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文参考訳（メタデータ） (2022-04-07T09:12:00Z)
Confidence May Cheat: Self-Training on Graph Neural Networks under Distribution Shift [39.73304203101909]
高信頼の未ラベルノードをラベル付けし、トレーニングステップに追加することで、グラフ上での自己学習手法が広く採用されている。本稿では,従来のラベル付きデータセットの分布を復元する新しい分散検索フレームワーク(DR-GST)を提案する。 5つのベンチマークデータセットの理論的解析と広範な実験は、提案したDR-GSTの有効性を実証している。
論文参考訳（メタデータ） (2022-01-27T07:12:27Z)
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier [2.4366811507669124]
Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
論文参考訳（メタデータ） (2022-01-10T16:58:52Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Adaptive Label Smoothing To Regularize Large-Scale Graph Training [46.00927775402987]
本研究では, 適応ラベル平滑化法 (ALS) を提案する。 ALSはノードラベルを伝播して、前処理ステップで近隣ラベルの分布を集約し、その後、最適なスムーズなラベルをオンラインで更新して、特定のグラフ構造に適合させる。
論文参考訳（メタデータ） (2021-08-30T23:51:31Z)
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文参考訳（メタデータ） (2021-04-11T09:50:24Z)
FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文参考訳（メタデータ） (2020-12-06T15:46:04Z)
Data Preprocessing to Mitigate Bias with Boosted Fair Mollifiers [104.90335702521378]
最近の論文で、Celisらは、データ分散自体を補正する公正性に対する新しいアプローチを導入した。本稿では、プライバシで最近導入された数学的オブジェクト -- 分散のモリファイア -- と、マシンラーニングに対する一般的なアプローチ -- を活用して、強化する。このアプローチは指数族の十分な統計学を学ぶことを伴う。
論文参考訳（メタデータ） (2020-12-01T00:49:17Z)
Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。