論文の概要: Stabilizing Federated Learning under Extreme Heterogeneity with HeteRo-Select
- arxiv url: http://arxiv.org/abs/2508.06692v1
- Date: Fri, 08 Aug 2025 20:33:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.511412
- Title: Stabilizing Federated Learning under Extreme Heterogeneity with HeteRo-Select
- Title（参考訳）: HeteRo-Selectによる極端不均一下でのフェデレーション学習の安定化
- Authors: Md. Akmol Masud, Md Abrar Jahin, Mahmud Hasan,
- Abstract要約: Federated Learning(FL)は、クライアントデータの多様な性質のために、しばしばトレーニングの不安定さに悩まされる機械学習技術である。
本稿では,ハイパフォーマンスの維持と長期トレーニングの安定性確保を目的とした理論的HeteRo-Selectフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a machine learning technique that often suffers from training instability due to the diverse nature of client data. Although utility-based client selection methods like Oort are used to converge by prioritizing high-loss clients, they frequently experience significant drops in accuracy during later stages of training. We propose a theoretical HeteRo-Select framework designed to maintain high performance and ensure long-term training stability. We provide a theoretical analysis showing that when client data is very different (high heterogeneity), choosing a smart subset of client participation can reduce communication more effectively compared to full participation. Our HeteRo-Select method uses a clear, step-by-step scoring system that considers client usefulness, fairness, update speed, and data variety. It also shows convergence guarantees under strong regularization. Our experimental results on the CIFAR-10 dataset under significant label skew ($\alpha=0.1$) support the theoretical findings. The HeteRo-Select method performs better than existing approaches in terms of peak accuracy, final accuracy, and training stability. Specifically, HeteRo-Select achieves a peak accuracy of $74.75\%$, a final accuracy of $72.76\%$, and a minimal stability drop of $1.99\%$. In contrast, Oort records a lower peak accuracy of $73.98\%$, a final accuracy of $71.25\%$, and a larger stability drop of $2.73\%$. The theoretical foundations and empirical performance in our study make HeteRo-Select a reliable solution for real-world heterogeneous FL problems.
- Abstract（参考訳）: Federated Learning(FL)は、クライアントデータの多様な性質のため、トレーニングの不安定性に悩まされるマシンラーニング技術である。
Oortのようなユーティリティベースのクライアント選択手法は、高コストクライアントの優先順位付けによって収束するために使用されるが、訓練の後期段階では、しばしばかなりの精度の低下を経験する。
本稿では,ハイパフォーマンスの維持と長期トレーニングの安定性確保を目的とした理論的HeteRo-Selectフレームワークを提案する。
クライアントデータが非常に異なる場合(高度の不均一性)、クライアント参加のスマートサブセットを選択することで、完全な参加よりもコミュニケーションをより効果的に削減できることを示す理論的分析を行う。
我々のHeteRo-Select法は,クライアントの有用性,公平性,更新速度,データの多様性を考慮した,明確なステップバイステップスコアリングシステムを用いている。
また、強い正則化の下での収束保証を示す。
CIFAR-10データセットを有意なラベルスキュー(\alpha=0.1$)で実験した結果,理論的な結果が得られた。
HeteRo-Select法は、ピーク精度、最終精度、トレーニング安定性の観点から、既存の手法よりも優れている。
具体的には、HeteRo-Selectのピーク精度は74.75 %$、最終精度は72.76 %$、最小安定性は1.99 %$である。
対照的に、Oort のピーク精度は73.98 %$、最終精度は71.25 %$、安定性は2.73 %$である。
本研究の理論的基礎と経験的性能から,HeteRo-Selectは実世界の異種FL問題に対する信頼性の高い解である。
関連論文リスト
- Addressing Data Quality Decompensation in Federated Learning via Dynamic Client Selection [7.603415982653868]
Shapley-Bid Reputation Optimated Federated Learning (SBRO-FL)は、動的入札、評判モデリング、コスト認識の選択を統合する統合フレームワークである。
予測理論にインスパイアされた評価システムは、矛盾を罰しながら歴史的なパフォーマンスを捉えている。
FashionMNIST, EMNIST, CIFAR-10, SVHNデータセットの実験により、SBRO-FLは対向的および低障壁干渉シナリオにおいても精度、収束速度、堅牢性を改善することが示された。
論文 参考訳（メタデータ） (2025-05-27T14:06:51Z) - Price of Stability in Quality-Aware Federated Learning [11.59995920901346]
Federated Learning(FL)は、クライアントがローカルデータを交換することなく、共有グローバルモデルをトレーニングできる分散機械学習スキームである。
我々は,クライアントのインタラクションを新しいラベル記述ゲームとしてモデル化し,その均衡を特徴づける。
我々は、平衡結果が常に社会的に最適な解よりも低いグローバルモデル精度をもたらすことを証明している。
論文 参考訳（メタデータ） (2023-10-13T00:25:21Z) - Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。
最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。
我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
論文 参考訳（メタデータ） (2023-06-05T04:34:54Z) - Federated Learning in the Presence of Adversarial Client Unavailability [16.201377650598516]
フェデレートラーニング(Federated Learning)は、生データを公開せずにコラボレーティブモデルを可能にする、分散機械学習フレームワークである。
多様なハードウェアソフトウェアに制限があるため、クライアントはサーバからの計算要求に対して常に利用できるとは限らない。
戦場のような厳しい環境では、敵は特定のクライアントを選択的に黙らせることができる。
論文 参考訳（メタデータ） (2023-05-31T15:57:07Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Robust Few-shot Learning Without Using any Adversarial Samples [19.34427461937382]
高度なメタラーニング技術を用いて、数発の問題をロバストネスの目的と組み合わせる試みがいくつかなされている。
逆のサンプルを一切必要としない単純で効果的な代替案を提案する。
ヒトの認知的意思決定プロセスにインスパイアされ、ベースクラスデータとそれに対応する低周波サンプルの高レベル特徴マッチングを強制する。
論文 参考訳（メタデータ） (2022-11-03T05:58:26Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。
CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
論文 参考訳（メタデータ） (2021-03-24T12:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。