論文の概要: FedQuad: Federated Stochastic Quadruplet Learning to Mitigate Data Heterogeneity
- arxiv url: http://arxiv.org/abs/2509.04107v1
- Date: Thu, 04 Sep 2025 11:11:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-05 20:21:10.139517
- Title: FedQuad: Federated Stochastic Quadruplet Learning to Mitigate Data Heterogeneity
- Title(参考訳): FedQuad: データ不均一性を緩和するフェデレーション型確率四重項学習
- Authors: Ozgu Goksu, Nicolas Pugeault,
- Abstract要約: フェデレートラーニング(FL)は、分散データやプライバシ保護といった問題に効果的に取り組む分散モデルトレーニングを提供する。
クライアント間でのクラス内分散とクラス間分散を明示的に最適化する新しい方法であるtextitFedQuadを提案する。
提案手法は, 類似したペア間の距離を最小化しつつ, 負のペア間の距離を最大化し, 共有特徴空間内のクライアントデータを効果的に切り離す手法である。
- 参考スコア(独自算出の注目度): 2.298932494750101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) provides decentralised model training, which effectively tackles problems such as distributed data and privacy preservation. However, the generalisation of global models frequently faces challenges from data heterogeneity among clients. This challenge becomes even more pronounced when datasets are limited in size and class imbalance. To address data heterogeneity, we propose a novel method, \textit{FedQuad}, that explicitly optimises smaller intra-class variance and larger inter-class variance across clients, thereby decreasing the negative impact of model aggregation on the global model over client representations. Our approach minimises the distance between similar pairs while maximising the distance between negative pairs, effectively disentangling client data in the shared feature space. We evaluate our method on the CIFAR-10 and CIFAR-100 datasets under various data distributions and with many clients, demonstrating superior performance compared to existing approaches. Furthermore, we provide a detailed analysis of metric learning-based strategies within both supervised and federated learning paradigms, highlighting their efficacy in addressing representational learning challenges in federated settings.
- Abstract(参考訳): フェデレートラーニング(FL)は、分散データやプライバシ保護といった問題に効果的に取り組む分散モデルトレーニングを提供する。
しかし、グローバルモデルの一般化は、クライアント間のデータ不均一性による問題にしばしば直面する。
この課題は、データセットのサイズとクラスの不均衡が制限されたときにさらに顕著になる。
データの不均一性に対処するため,クライアント間のクラス内分散やクラス間分散の増大を明示的に最適化し,クライアント表現上のグローバルモデルに対するモデルアグリゲーションの負の影響を低減させる新しい手法である \textit{FedQuad} を提案する。
提案手法は, 類似したペア間の距離を最小化しつつ, 負のペア間の距離を最大化し, 共有特徴空間内のクライアントデータを効果的に切り離す手法である。
我々は,CIFAR-10およびCIFAR-100データセットを各種データ分布および多くのクライアントで評価し,既存手法と比較して優れた性能を示した。
さらに、教師付き学習パラダイムとフェデレーション付き学習パラダイムの両方におけるメトリック学習ベースの戦略を詳細に分析し、フェデレーション付き環境における表現型学習課題に対処する上での有効性を明らかにする。
関連論文リスト
- Dynamic Clustering for Personalized Federated Learning on Heterogeneous Edge Devices [10.51330114955586]
フェデレートラーニング(FL)は、エッジデバイスがグローバルモデルを協調的に学習することを可能にする。
パーソナライズド・フェデレーション・ラーニング・システム(DC-PFL)のための動的クラスタリングアルゴリズムを提案する。
また,DC-PFLはトレーニング時間を大幅に短縮し,ベースラインに比べてモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2025-08-03T04:19:22Z) - Enhancing Federated Learning Through Secure Cluster-Weighted Client Aggregation [4.869042695112397]
フェデレーテッド・ラーニング(FL)は機械学習において有望なパラダイムとして登場した。
FLでは、各デバイスにまたがるローカルデータセットに基づいて、グローバルモデルを反復的にトレーニングする。
本稿では、クライアント更新に重みを動的に割り当てるために、相似性スコア、k平均クラスタリング、和解信頼スコアを利用する新しいFLフレームワーク、ClusterGuardFLを紹介する。
論文 参考訳(メタデータ) (2025-03-29T04:29:24Z) - FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。
FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。
これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
論文 参考訳(メタデータ) (2024-12-05T18:42:29Z) - FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。
伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。
新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文 参考訳(メタデータ) (2024-09-18T16:25:29Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳(メタデータ) (2023-11-14T19:10:56Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。