論文の概要: A Novel Optimized Asynchronous Federated Learning Framework

• arxiv url: http://arxiv.org/abs/2111.09487v1
• Date: Thu, 18 Nov 2021 02:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 15:14:45.104112
• Title: A Novel Optimized Asynchronous Federated Learning Framework
• Title（参考訳）: 新しい最適化非同期フェデレーション学習フレームワーク
• Authors: Zhicheng Zhou, Hailong Chen, Kunhua Li, Fei Hu, Bingjie Yan, Jieren Cheng, Xuyan Wei, Bernie Liu, Xiulai Li, Fuwen Chen, Yongji Sui
• Abstract要約: 本稿では,新しい非同期フェデレート学習フレームワークVAFLを提案する。 VAFLは平均通信圧縮率48.23%で約51.02%の通信時間を短縮することができる。
• 参考スコア（独自算出の注目度）: 1.7541806468876109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) since proposed has been applied in many fields, such as credit assessment, medical, etc. Because of the difference in the network or computing resource, the clients may not update their gradients at the same time that may take a lot of time to wait or idle. That's why Asynchronous Federated Learning (AFL) method is needed. The main bottleneck in AFL is communication. How to find a balance between the model performance and the communication cost is a challenge in AFL. This paper proposed a novel AFL framework VAFL. And we verified the performance of the algorithm through sufficient experiments. The experiments show that VAFL can reduce the communication times about 51.02\% with 48.23\% average communication compression rate and allow the model to be converged faster. The code is available at \url{https://github.com/RobAI-Lab/VAFL}
• Abstract（参考訳）: 連合学習(federated learning、fl)は、クレジットアセスメントや医療など、多くの分野に適用されてきた。 ネットワークやコンピューティングリソースの違いのため、クライアントは勾配を同時に更新せず、待機やアイドルに多くの時間を要する可能性がある。 そのため、非同期フェデレートラーニング(AFL)メソッドが必要になります。 AFLの主なボトルネックは通信です。 AFLでは、モデルパフォーマンスと通信コストのバランスを見つける方法が課題です。 本稿では,新しいAFLフレームワークVAFLを提案する。 そして,十分な実験によりアルゴリズムの性能を検証した。 実験の結果,VAFL は平均通信圧縮率 48.23 % で約 51.02 % の通信時間を短縮し,モデルをより早く収束させることができることがわかった。 コードは \url{https://github.com/RobAI-Lab/VAFL} で入手できる。

関連論文リスト

• Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis [7.303912285452846]
  本研究では,周辺次元の対数的にのみ(線形ではなく)通信コストが保証される,特定のスケッチ適応型連邦学習(SAFL)アルゴリズムを提案する。 我々の理論的主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチからのトレーニングの両方で支持されている。 驚いたことに,提案手法は,誤りフィードバックに基づく,最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。
  論文  参考訳（メタデータ） (2024-11-11T07:51:22Z)
• Analytic Federated Learning [34.15482252496494]
  我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。 私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。 極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
  論文  参考訳（メタデータ） (2024-05-25T13:58:38Z)
• Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples [34.576230628844506]
  我々は,textbfone-shot VFLと呼ばれる垂直連合学習(VFL)フレームワークを提案する。 提案したフレームワークでは、クライアントはサーバと一度か数回だけ通信する必要があります。 提案手法は46.5%以上の精度向上と通信コストの330$times$の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-28T19:30:23Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
  キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。 そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。 我々はベイズ学習を利用してモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2022-06-23T03:05:12Z)
• Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
  部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。 各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。 計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
  論文  参考訳（メタデータ） (2022-03-28T14:33:21Z)
• Video and Text Matching with Conditioned Embeddings [81.81028089100727]
  本稿では,あるコーパスから与えられたビデオクリップにテキストをマッチングする方法と,その逆について述べる。 本研究では、クエリの関連情報を考慮し、データセットデータをエンコードする。 我々は、条件付き表現をビデオ誘導機械翻訳に転送し、VATEXの現在の結果を改善した。
  論文  参考訳（メタデータ） (2021-10-21T17:31:50Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Anarchic Federated Learning [9.440407984695904]
  我々は、Anarchic Federated Learning' (AFL)と呼ばれる連邦学習の新しいパラダイムを提案する。 AFLでは、各作業者は、(i)いつFLに参加するか、(i)現在の状況に基づいて各ラウンドで行うローカルステップの数を選択できる。 クロスデバイスとクロスサイロの両方の設定に対して、双方向の学習率を持つ2つのAnarchic FedAvgライクなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-23T00:38:37Z)
• InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem? [66.70154236519186]
  センテンス挿入は繊細だが基本的なNLP問題である。 文順序付け、テキストコヒーレンス、質問応答(QA)の現在のアプローチは、その解決には適さない。 本稿では,この問題をグラフとして表現し,グラフニューラルネットワーク(GNN)を用いて文間の関係を学習するモデルであるInsertGNNを提案する。
  論文  参考訳（メタデータ） (2021-03-28T06:50:31Z)
• LINDT: Tackling Negative Federated Learning with Local Adaptation [18.33409148798824]
  NFLをリアルタイムに処理するための新しいフレームワーク LINDT を提案する。 本稿では,NFLをサーバから検出するためのメトリクスを紹介する。 実験結果から,提案手法は局所データ上でのFLの性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T01:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。