論文の概要: FedUV: Uniformity and Variance for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2402.18372v2
- Date: Fri, 1 Mar 2024 21:53:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 23:42:03.514595
- Title: FedUV: Uniformity and Variance for Heterogeneous Federated Learning
- Title（参考訳）: feduv:不均質なフェデレーション学習のための一様性と分散
- Authors: Ha Min Son, Moon-Hyun Kim, Tai-Myoung Chung, Chao Huang, Xin Liu
- Abstract要約: フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
- 参考スコア（独自算出の注目度）: 5.9330433627374815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning is a promising framework to train neural networks with
widely distributed data. However, performance degrades heavily with
heterogeneously distributed data. Recent work has shown this is due to the
final layer of the network being most prone to local bias, some finding success
freezing the final layer as an orthogonal classifier. We investigate the
training dynamics of the classifier by applying SVD to the weights motivated by
the observation that freezing weights results in constant singular values. We
find that there are differences when training in IID and non-IID settings.
Based on this finding, we introduce two regularization terms for local training
to continuously emulate IID settings: (1) variance in the dimension-wise
probability distribution of the classifier and (2) hyperspherical uniformity of
representations of the encoder. These regularizations promote local models to
act as if it were in an IID setting regardless of the local data distribution,
thus offsetting proneness to bias while being flexible to the data. On
extensive experiments in both label-shift and feature-shift settings, we verify
that our method achieves highest performance by a large margin especially in
highly non-IID cases in addition to being scalable to larger models and
datasets.
- Abstract（参考訳）: フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
しかし、性能は異種分散データで大きく劣化する。
最近の研究によると、これはネットワークの最終層が局所バイアスの最もやすいためであり、一部は直交分類器として最終層を凍結させることに成功したためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
IIDと非IID設定でのトレーニングには違いがあることがわかった。
この結果に基づき,(1)分類器の次元的確率分布のばらつき,(2)エンコーダの表現の超球面的一様性,という,iid設定を連続的にエミュレートするための局所学習のための2つの正規化項を導入する。
これらの正規化は、ローカルなデータ分布に関わらず、ローカルなモデルがIDD設定であるかのように振る舞うように促すため、データに柔軟でありながらバイアスの傾向を相殺する。
ラベルシフト設定と機能シフト設定の両方で広範な実験を行った結果,大規模モデルやデータセットにスケーラブルであることに加えて,特に非iidケースでは高いマージンで高い性能が得られることを確認した。
関連論文リスト
- Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。
重み付きおよび多変量データ分散を扱うように拡張する。
ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
論文 参考訳（メタデータ） (2024-10-29T10:27:50Z) - Learning From Drift: Federated Learning on Non-IID Data via Drift
Regularization [11.813552364878868]
フェデレートされた学習アルゴリズムは、独立および同一分散(IID)データに対して合理的に機能する。
彼らは異種環境、すなわち非IIDデータに悩まされている。
ヘテロジニアスな環境下でモデルを効果的に訓練する新しい手法であるLearning from Drift (LfD)を提案する。
論文 参考訳（メタデータ） (2023-09-13T09:23:09Z) - Class-Balancing Diffusion Models [57.38599989220613]
クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。
提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-30T20:00:14Z) - Experimenting with Normalization Layers in Federated Learning on non-IID
scenarios [1.2599533416395765]
フェデレーテッド・ラーニング(FL)は、異なる機関からの協調トレーニングを用いたデータセットのプライバシ保護プールの方法として登場している。
FLの重要なパフォーマンス上の課題の1つは、フェデレーション参加者間で独立ではなく、同一に分散した(非IID)データセット上で運用することである。
ニューラルネットワーク(NN)トレーニングのための5つの異なる正規化レイヤ、非IIDデータスキューの2つのファミリー、および2つのデータセットをベンチマークする。
その結果,集中型DLに広く採用されているバッチ正規化はFLにとって最善の選択ではないが,グループ正規化とレイヤ正規化は一貫してバッチ正規化を上回っていることがわかった。
論文 参考訳（メタデータ） (2023-03-19T11:20:43Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳（メタデータ） (2021-06-17T11:41:30Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳（メタデータ） (2020-08-09T21:13:13Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳（メタデータ） (2020-06-16T03:43:59Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。