Fugu-MT 論文翻訳(概要): Analytic Federated Learning

論文の概要: Analytic Federated Learning

arxiv url: http://arxiv.org/abs/2405.16240v1
Date: Sat, 25 May 2024 13:58:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 00:21:21.721445
Title: Analytic Federated Learning
Title（参考訳）: 分析フェデレーション学習
Authors: Huiping Zhuang, Run He, Kai Tong, Di Fang, Han Sun, Haoran Li, Tianyi Chen, Ziqian Zeng,
Abstract要約: 我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
参考スコア（独自算出の注目度）: 34.15482252496494
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce analytic federated learning (AFL), a new training paradigm that brings analytical (i.e., closed-form) solutions to the federated learning (FL) community. Our AFL draws inspiration from analytic learning -- a gradient-free technique that trains neural networks with analytical solutions in one epoch. In the local client training stage, the AFL facilitates a one-epoch training, eliminating the necessity for multi-epoch updates. In the aggregation stage, we derive an absolute aggregation (AA) law. This AA law allows a single-round aggregation, removing the need for multiple aggregation rounds. More importantly, the AFL exhibits a \textit{weight-invariant} property, meaning that regardless of how the full dataset is distributed among clients, the aggregated result remains identical. This could spawn various potentials, such as data heterogeneity invariance, client-number invariance, absolute convergence, and being hyperparameter-free (our AFL is the first hyperparameter-free method in FL history). We conduct experiments across various FL settings including extremely non-IID ones, and scenarios with a large number of clients (e.g., $\ge 1000$). In all these settings, our AFL constantly performs competitively while existing FL techniques encounter various obstacles. Code is available at \url{https://github.com/ZHUANGHP/Analytic-federated-learning}
Abstract（参考訳）: 本稿では,分析フェデレーション学習(AFL)という新たな学習パラダイムを導入し,分析的(クローズドな)ソリューションをフェデレーション学習(FL)コミュニティに導入する。私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。ローカルクライアントのトレーニング段階では、AFLはワンエポックなトレーニングを促進し、マルチエポックな更新の必要性を排除する。集約段階では、絶対集約法(AA法)を導出する。このAA法は単一ラウンドのアグリゲーションを可能にし、複数のアグリゲーションラウンドの必要性を取り除く。さらに重要なのは、AFLが‘textit{weight-invariant}プロパティを示すことだ。これは、データ不均一性不変性、クライアント数不変性、絶対収束性、ハイパーパラメータフリーであること(AFLはFL史上初のハイパーパラメータフリー法である)など、様々なポテンシャルを生み出す可能性がある。極めて非IIDな設定や多数のクライアント(例えば$\ge 1000$)のシナリオなど、さまざまなFL設定で実験を行います。これらすべての設定において、既存のFL技術が様々な障害に直面している間、AFLは絶えず競争力を発揮する。コードは \url{https://github.com/ZHUANGHP/Analytic-federated-learning} で公開されている。

関連論文リスト

Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis [7.303912285452846]
本研究では,周辺次元の対数的にのみ(線形ではなく)通信コストが保証される,特定のスケッチ適応型連邦学習(SAFL)アルゴリズムを提案する。我々の理論的主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチからのトレーニングの両方で支持されている。驚いたことに,提案手法は,誤りフィードバックに基づく,最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。
論文参考訳（メタデータ） (2024-11-11T07:51:22Z)
Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文参考訳（メタデータ） (2023-12-11T10:44:52Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。 FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文参考訳（メタデータ） (2022-08-07T04:17:34Z)
Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
論文参考訳（メタデータ） (2022-03-28T14:33:21Z)
A Novel Optimized Asynchronous Federated Learning Framework [1.7541806468876109]
本稿では,新しい非同期フェデレート学習フレームワークVAFLを提案する。 VAFLは平均通信圧縮率48.23%で約51.02%の通信時間を短縮することができる。
論文参考訳（メタデータ） (2021-11-18T02:52:49Z)
Anarchic Federated Learning [9.440407984695904]
我々は、Anarchic Federated Learning' (AFL)と呼ばれる連邦学習の新しいパラダイムを提案する。 AFLでは、各作業者は、(i)いつFLに参加するか、(i)現在の状況に基づいて各ラウンドで行うローカルステップの数を選択できる。クロスデバイスとクロスサイロの両方の設定に対して、双方向の学習率を持つ2つのAnarchic FedAvgライクなアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-23T00:38:37Z)
Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文参考訳（メタデータ） (2021-08-19T12:20:31Z)
Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文参考訳（メタデータ） (2020-08-26T03:36:07Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。