論文の概要: FedGA: Federated Learning with Gradient Alignment for Error Asymmetry Mitigation

• arxiv url: http://arxiv.org/abs/2412.16582v1
• Date: Sat, 21 Dec 2024 11:15:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:29.011958
• Title: FedGA: Federated Learning with Gradient Alignment for Error Asymmetry Mitigation
• Title（参考訳）: FedGA: 誤り非対称性軽減のためのグラディエントアライメントによるフェデレートラーニング
• Authors: Chenguang Xiao, Zheming Zuo, Shuo Wang,
• Abstract要約: フェデレートラーニング(FL)は、クライアント内およびクライアント間クラス不均衡を引き起こす。 我々は、FedGAと呼ばれる勾配アライメント(GA)インフォームドFL法を提案する。
• 参考スコア（独自算出の注目度）: 5.3663750040721085
• License:
• Abstract: Federated learning (FL) triggers intra-client and inter-client class imbalance, with the latter compared to the former leading to biased client updates and thus deteriorating the distributed models. Such a bias is exacerbated during the server aggregation phase and has yet to be effectively addressed by conventional re-balancing methods. To this end, different from the off-the-shelf label or loss-based approaches, we propose a gradient alignment (GA)-informed FL method, dubbed as FedGA, where the importance of error asymmetry (EA) in bias is observed and its linkage to the gradient of the loss to raw logits is explored. Concretely, GA, implemented by label calibration during the model backpropagation process, prevents catastrophic forgetting of rate and missing classes, hence boosting model convergence and accuracy. Experimental results on five benchmark datasets demonstrate that GA outperforms the pioneering counterpart FedAvg and its four variants in minimizing EA and updating bias, and accordingly yielding higher F1 score and accuracy margins when the Dirichlet distribution sampling factor $\alpha$ increases. The code and more details are available at \url{https://anonymous.4open.science/r/FedGA-B052/README.md}.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアント更新のバイアスにつながる前者と比較して、クライアント内およびクライアント間クラス不均衡を引き起こすため、分散モデルを劣化させる。 このようなバイアスはサーバアグリゲーションフェーズで悪化し、従来の再分散手法では効果的に対処できていない。 この目的のために、市販ラベルや損失に基づくアプローチとは違って、FedGAと呼ばれる勾配アライメント(GA)インフォームドFL法を提案し、バイアスにおける誤差非対称性(EA)の重要性を観察し、生ログへの損失の勾配へのリンクを探索する。 具体的には、モデルバックプロパゲーションプロセス中にラベルキャリブレーションによって実装されたGAは、速度とクラス不足の破滅的な忘れ込みを防止し、モデル収束と精度を高める。 5つのベンチマークデータセットによる実験結果から、GAはEAの最小化とバイアスの更新において先駆的なFedAvgとその4つの変種よりも優れており、ディリクレ分布サンプリング係数$\alpha$が増加すると、より高いF1スコアと精度マージンが得られることが示された。 コードの詳細は \url{https://anonymous.4open.science/r/FedGA-B052/README.md} で確認できる。

関連論文リスト

• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• End-to-End Supervised Multilabel Contrastive Learning [38.26579519598804]
  マルチラベル表現学習は、オブジェクトカテゴリ間のラベル依存やデータ関連の問題に関連付けられる難しい問題として認識されている。 近年の進歩は、モデルとデータ中心の視点からこれらの課題に対処している。 KMCLと呼ばれる新しいエンドツーエンドのトレーニングフレームワークを提案し、モデルとデータ中心の設計の欠点に対処する。
  論文  参考訳（メタデータ） (2023-07-08T12:46:57Z)
• Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
  Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。 この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。 本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
  論文  参考訳（メタデータ） (2023-06-07T17:50:59Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• Posterior Re-calibration for Imbalanced Datasets [33.379680556475314]
  トレーニングラベルの分布が極めて不均衡な場合、ニューラルネットワークは性能が良くない。 我々は、KL分割に基づく最適化によって解決できる訓練後の事前バランス手法を導出する。 6つの異なるデータセットと5つの異なるアーキテクチャで得られた結果は、芸術的正確性を示している。
  論文  参考訳（メタデータ） (2020-10-22T15:57:14Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Semi-supervised Learning Meets Factorization: Learning to Recommend with Chain Graph Model [16.007141894770054]
  潜在因子モデル(LFM)は、優れたパフォーマンスとスケーラビリティのために、レコメンデーションシステムにおいて多くの注目を集めています。 半教師付き学習(SSL)は、ラベル(評価)の空間性の問題を軽減する効果的な方法を提供する。 SSL と LFM を結合する新しい確率的連鎖グラフモデル (CGM) を提案する。
  論文  参考訳（メタデータ） (2020-03-05T06:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。