Fugu-MT 論文翻訳(概要): Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring

論文の概要: Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring

arxiv url: http://arxiv.org/abs/2206.06818v1
Date: Tue, 14 Jun 2022 13:12:12 GMT
ステータス: 処理完了
システム内更新日: 2022-06-15 13:20:34.009573
Title: Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring
Title（参考訳）: 不変アグリゲーションと多様性伝達による属性のタックリングのための不連続連関学習
Authors: Zhengquan Luo, Yunlong Wang, Zilei Wang, Zhenan Sun, Tieniu Tan
Abstract要約: 属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
参考スコア（独自算出の注目度）: 104.19414150171472
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Attributes skew hinders the current federated learning (FL) frameworks from consistent optimization directions among the clients, which inevitably leads to performance reduction and unstable convergence. The core problems lie in that: 1) Domain-specific attributes, which are non-causal and only locally valid, are indeliberately mixed into global aggregation. 2) The one-stage optimizations of entangled attributes cannot simultaneously satisfy two conflicting objectives, i.e., generalization and personalization. To cope with these, we proposed disentangled federated learning (DFL) to disentangle the domain-specific and cross-invariant attributes into two complementary branches, which are trained by the proposed alternating local-global optimization independently. Importantly, convergence analysis proves that the FL system can be stably converged even if incomplete client models participate in the global aggregation, which greatly expands the application scope of FL. Extensive experiments verify that DFL facilitates FL with higher performance, better interpretability, and faster convergence rate, compared with SOTA FL methods on both manually synthesized and realistic attributes skew datasets.
Abstract（参考訳）: 属性が歪むと、現在の連合学習(fl)フレームワークが、クライアント間の一貫した最適化方向から妨げられるため、必然的にパフォーマンスの低下と不安定な収束につながる。その中核的な問題は次のとおりである。 1) ドメイン固有の属性は非因果的であり, 局所的にのみ有効である。 2) 絡み合った属性の1段階最適化は, 2つの相反する目的,すなわち一般化とパーソナライゼーションを同時に満たすことができない。これらの問題に対処するために,我々は,局所グローバル最適化の交互化によって独立に学習される2つの相補的枝にドメイン特化属性とクロス不変属性を絡み合うdfl(disentangled federated learning)を提案する。重要なことに、収束分析は、不完全なクライアントモデルがグローバルアグリゲーションに参加していても、flシステムの安定的に収束できることを証明します。広範囲な実験により、DFLは、手動合成および現実的な属性スキューデータセットにおけるSOTA FL法と比較して、高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。

関連論文リスト

On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文参考訳（メタデータ） (2024-07-23T11:35:42Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
論文参考訳（メタデータ） (2023-06-05T02:29:38Z)
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文参考訳（メタデータ） (2023-05-19T10:47:44Z)
Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文参考訳（メタデータ） (2023-01-30T11:46:34Z)
Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
論文参考訳（メタデータ） (2022-07-14T01:45:03Z)
AFAFed -- Protocol analysis [3.016628653955123]
これは、ストリーム指向IoTアプリケーション環境のための新しいFair Federated Adaptive Learningフレームワークである。我々は収束特性を分析し、AFAFedの実装面に対処する。
論文参考訳（メタデータ） (2022-06-29T22:12:08Z)
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文参考訳（メタデータ） (2022-01-27T20:43:38Z)
Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文参考訳（メタデータ） (2021-08-20T12:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。