論文の概要: Distributed Optimization over Block-Cyclic Data

• arxiv url: http://arxiv.org/abs/2002.07454v1
• Date: Tue, 18 Feb 2020 09:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:41:52.899204
• Title: Distributed Optimization over Block-Cyclic Data
• Title（参考訳）: ブロックサイクルデータによる分散最適化
• Authors: Yucheng Ding, Chaoyue Niu, Yikai Yan, Zhenzhe Zheng, Fan Wu, Guihai Chen, Shaojie Tang, Rongfei Jia
• Abstract要約: 本研究では,クライアントの非平衡データと非等化データをブロック循環構造とするフェデレート学習の基礎となる実践的データ特性について考察する。 マルチモデル並列SGD(MM-PSGD)とマルチチェーン並列SGD(MC-PSGD)という2つの新しい分散最適化アルゴリズムを提案する。 提案アルゴリズムは, 従来のフェデレーション平均化アルゴリズムよりも精度が高く, 臨界パラメータの分散に対するロバスト性を保っている。
• 参考スコア（独自算出の注目度）: 48.317899174302305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider practical data characteristics underlying federated learning, where unbalanced and non-i.i.d. data from clients have a block-cyclic structure: each cycle contains several blocks, and each client's training data follow block-specific and non-i.i.d. distributions. Such a data structure would introduce client and block biases during the collaborative training: the single global model would be biased towards the client or block specific data. To overcome the biases, we propose two new distributed optimization algorithms called multi-model parallel SGD (MM-PSGD) and multi-chain parallel SGD (MC-PSGD) with a convergence rate of $O(1/\sqrt{NT})$, achieving a linear speedup with respect to the total number of clients. In particular, MM-PSGD adopts the block-mixed training strategy, while MC-PSGD further adds the block-separate training strategy. Both algorithms create a specific predictor for each block by averaging and comparing the historical global models generated in this block from different cycles. We extensively evaluate our algorithms over the CIFAR-10 dataset. Evaluation results demonstrate that our algorithms significantly outperform the conventional federated averaging algorithm in terms of test accuracy, and also preserve robustness for the variance of critical parameters.
• Abstract（参考訳）: 本研究は,クライアントの非平衡データと非二項データとがブロック循環構造を持つフェデレート学習の基礎となる実践的データ特性について考察する。 このようなデータ構造は、協調トレーニング中にクライアントとブロックのバイアスを導入します。 このバイアスを克服するために, クライアントの総数に対して線形高速化を実現するために, 収束率$O(1/\sqrt{NT})$のマルチモデル並列SGD (MM-PSGD) とマルチチェーン並列SGD (MC-PSGD) という2つの新しい分散最適化アルゴリズムを提案する。 特にmm-psgdはブロック混合トレーニング戦略を採用し、mc-psgdはブロック分離トレーニング戦略をさらに追加している。 どちらのアルゴリズムも、異なるサイクルから生成された歴史的グローバルモデルを平均化し比較することで、ブロックごとに特定の予測子を作成する。 CIFAR-10データセットを用いてアルゴリズムを広範囲に評価した。 評価の結果, 従来のフェデレーション平均化アルゴリズムよりも精度が優れており, 臨界パラメータの分散に対するロバスト性も保たれていることがわかった。

関連論文リスト

• Dual-Criterion Model Aggregation in Federated Learning: Balancing Data Quantity and Quality [0.0]
  フェデレートラーニング(FL)は、プライバシ保護のための協調学習の鍵となる方法の1つとなっている。 集約アルゴリズムは、システムの有効性と安全性を確保する上で最も重要なコンポーネントの1つとして認識される。 本研究では,クライアントノードからのデータ量と品質を含む新しい二項重み付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T14:09:16Z)
• MOLA: Enhancing Industrial Process Monitoring Using Multi-Block Orthogonal Long Short-Term Memory Autoencoder [3.7028696448588487]
  産業プロセスの高精度かつ信頼性の高い故障検出を行うために,MOLA: Multi-block Orthogonal Long short-term memory Autoencoder パラダイムを導入する。 本稿では,プロセス変数を専門的なプロセス知識を活用することで,複数のブロックに分類するマルチブロック監視構造を提案する。 テネシー・イーストマン・プロセスに適用することで,MOLAフレームワークの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-10-10T00:49:43Z)
• Distributionally Robust Clustered Federated Learning: A Case Study in Healthcare [9.433126190164224]
  CS-RCFL(Cross-silo Robust Clustered Federated Learning)と呼ばれる新しいアルゴリズムを導入する。 我々は,各クライアントの経験的分布の周囲にあいまいな集合を構築し,ローカルデータの分布シフトをキャプチャする。 そこで我々は,モデルに依存しない整数分数プログラムを提案し,クライアントの連立への最適分布的ロバストなクラスタリングを決定する。
  論文  参考訳（メタデータ） (2024-10-09T16:25:01Z)
• A Federated Distributionally Robust Support Vector Machine with Mixture of Wasserstein Balls Ambiguity Set for Distributed Fault Diagnosis [3.662364375995991]
  本研究では、中央サーバとG$クライアントで構成されるネットワーク上で、データを共有せずに、分散ロバストな(DR)サポートベクタマシン(SVM)をフェデレーション方式でトレーニングする問題について検討する。 グローバルFDR-SVMをトレーニングするための2つの分散最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:21:45Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Robust Trimmed k-means [70.88503833248159]
  本稿では,外乱点とクラスタポイントを同時に識別するRobust Trimmed k-means (RTKM)を提案する。 RTKMは他の方法と競合することを示す。
  論文  参考訳（メタデータ） (2021-08-16T15:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。