論文の概要: Relaxed Contrastive Learning for Federated Learning

• arxiv url: http://arxiv.org/abs/2401.04928v1
• Date: Wed, 10 Jan 2024 04:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 15:29:24.241286
• Title: Relaxed Contrastive Learning for Federated Learning
• Title（参考訳）: 連合学習のためのリラックスしたコントラスト学習
• Authors: Seonguk Seo, Jinkyu Kim, Geeho Kim, Bohyung Han
• Abstract要約: 本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
• 参考スコア（独自算出の注目度）: 53.48804883845343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel contrastive learning framework to effectively address the challenges of data heterogeneity in federated learning. We first analyze the inconsistency of gradient updates across clients during local training and establish its dependence on the distribution of feature representations, leading to the derivation of the supervised contrastive learning (SCL) objective to mitigate local deviations. In addition, we show that a na\"ive adoption of SCL in federated learning leads to representation collapse, resulting in slow convergence and limited performance gains. To address this issue, we introduce a relaxed contrastive learning loss that imposes a divergence penalty on excessively similar sample pairs within each class. This strategy prevents collapsed representations and enhances feature transferability, facilitating collaborative training and leading to significant performance improvements. Our framework outperforms all existing federated learning approaches by huge margins on the standard benchmarks through extensive experimental results.
• Abstract（参考訳）: 本研究では,連帯学習におけるデータ不均一性の課題を効果的に解決するための新しいコントラスト学習フレームワークを提案する。 まず,局所学習におけるクライアント間の勾配更新の不整合を解析し,特徴表現の分布への依存性を確立することにより,教師付きコントラスト学習(SCL)の目的を導出し,局所的な偏差を緩和する。 さらに,フェデレーション学習におけるSCLの「積極的」導入は,表現の崩壊を招き,収束の鈍化と性能向上の限界をもたらすことを示す。 この問題に対処するために,各クラスに過度に類似するサンプルペアに発散ペナルティを課す,リラックスしたコントラスト学習損失を導入する。 この戦略は、崩壊した表現を防止し、機能転送性を高め、協調トレーニングを促進し、大幅なパフォーマンス改善につながる。 我々のフレームワークは、実験結果を通じて、標準ベンチマークにおいて、既存のフェデレート学習アプローチよりも大きなマージンを達成しています。

関連論文リスト

• The Curse of Diversity in Ensemble-Based Exploration [7.209197316045156]
  データ共有エージェントの多様なアンサンブルの訓練は、個々のアンサンブルメンバーのパフォーマンスを著しく損なう可能性がある。 私たちはこの現象を多様性の呪いと呼んでいる。 多様性の呪いに対処する表現学習の可能性を示す。
  論文  参考訳（メタデータ） (2024-05-07T14:14:50Z)
• Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
  本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。 急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。 我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T03:16:59Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• Semi-Discriminative Representation Loss for Online Continual Learning [16.414031859647874]
  勾配に基づくアプローチは、コンパクトなエピソードメモリをより効率的に活用するために開発されている。 本稿では,SDRL(Semi-Discriminative Representation Loss)という,連続学習のための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2020-06-19T17:13:42Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。