論文の概要: Towards Fast and Stable Federated Learning: Confronting Heterogeneity via Knowledge Anchor

• arxiv url: http://arxiv.org/abs/2312.02416v1
• Date: Tue, 5 Dec 2023 01:12:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 17:15:31.421106
• Title: Towards Fast and Stable Federated Learning: Confronting Heterogeneity via Knowledge Anchor
• Title（参考訳）: 高速かつ安定的なフェデレーションラーニングを目指して:知識アンカーによる異種性の克服
• Authors: Jinqian Chen, Jihua Zhu, Qinghai Zheng
• Abstract要約: 本稿では,異なる通信ラウンド間の局所訓練において,各クラスを忘れる程度を系統的に分析する。 これらの知見に触発され,FedKA(Federated Knowledge Anchor)と呼ばれる新しい,簡単なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 18.696420390977863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning encounters a critical challenge of data heterogeneity, adversely affecting the performance and convergence of the federated model. Various approaches have been proposed to address this issue, yet their effectiveness is still limited. Recent studies have revealed that the federated model suffers severe forgetting in local training, leading to global forgetting and performance degradation. Although the analysis provides valuable insights, a comprehensive understanding of the vulnerable classes and their impact factors is yet to be established. In this paper, we aim to bridge this gap by systematically analyzing the forgetting degree of each class during local training across different communication rounds. Our observations are: (1) Both missing and non-dominant classes suffer similar severe forgetting during local training, while dominant classes show improvement in performance. (2) When dynamically reducing the sample size of a dominant class, catastrophic forgetting occurs abruptly when the proportion of its samples is below a certain threshold, indicating that the local model struggles to leverage a few samples of a specific class effectively to prevent forgetting. Motivated by these findings, we propose a novel and straightforward algorithm called Federated Knowledge Anchor (FedKA). Assuming that all clients have a single shared sample for each class, the knowledge anchor is constructed before each local training stage by extracting shared samples for missing classes and randomly selecting one sample per class for non-dominant classes. The knowledge anchor is then utilized to correct the gradient of each mini-batch towards the direction of preserving the knowledge of the missing and non-dominant classes. Extensive experimental results demonstrate that our proposed FedKA achieves fast and stable convergence, significantly improving accuracy on popular benchmarks.
• Abstract（参考訳）: フェデレーション学習は、データ不均一性において重要な課題に直面し、フェデレーションモデルの性能と収束に悪影響を及ぼす。 この問題に対処するための様々なアプローチが提案されているが、その効果はまだ限られている。 近年の研究では、フェデレートモデルが局所訓練において深刻な忘れ込みに悩まされ、グローバルな忘れ込みと性能低下につながっていることが明らかになった。 分析は貴重な洞察を提供するが、脆弱なクラスとその影響要因に関する包括的理解はまだ確立されていない。 本稿では,異なるコミュニケーションラウンドをまたがるローカルトレーニングにおいて,各クラスの忘れやすさを体系的に分析することで,このギャップを埋めることを目的とする。 1) 障害クラスと非支配クラスは, 地域訓練中にも同様に忘れられ, 支配クラスは成績が向上した。 2) 優占集団のサンプルサイズを動的に減少させると,そのサンプルの割合が一定の閾値以下である場合,破滅的忘れが突然発生し,局所モデルが特定の集団のサンプルを効果的に活用するのに苦労していることを示す。 これらの知見に動機づけられ,federated knowledge anchor (fedka) と呼ばれる新しい素直なアルゴリズムを提案する。 すべてのクライアントが各クラスに対して単一の共有サンプルを持っていると仮定すると、知識アンカーは、不足するクラスの共有サンプルを抽出し、非支配クラスのクラス毎に1つのサンプルをランダムに選択することで、各ローカルトレーニングステージの前に構築される。 知識アンカーは、不足クラスと非支配クラスの知識を保存する方向への各ミニバッチの勾配を補正するために使用される。 その結果,提案したFedKAは高速かつ安定な収束を実現し,ベンチマークの精度を大幅に向上した。

関連論文リスト

• Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning [2.395881636777087]
  クラスバランス学習においても弱いクラスが一貫して存在することを観察する。 クラス間精度の差は、FashionMNISTとCIFAR-10データセットのフェデレーション学習で36.9%以上に達する。 本稿では,弱いクラスの分類精度を向上させるために,クラス固有の部分的知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T01:16:46Z)
• Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing [38.84431954053434]
  短いショットとゼロショットのテキスト分類は、ラベル付きサンプルやラベル付きサンプルが全くない新しいクラスからのサンプルを認識することを目的としている。 少数ショットとゼロショットのテキスト分類のためのシンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-06T15:38:32Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Local overlap reduction procedure for dynamic ensemble selection [13.304462985219237]
  クラス不均衡は、分類モデルにおいて学習をより困難にすることで知られる特徴である。 分類過程における局所クラス重複の影響を最小限に抑えるDS手法を提案する。 実験の結果,提案手法はベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-06-16T21:31:05Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。