論文の概要: The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset

• arxiv url: http://arxiv.org/abs/2108.03508v1
• Date: Sat, 7 Aug 2021 19:37:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:13:22.184649
• Title: The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset
• Title（参考訳）: MNISTデータセットに基づく分散型フェデレーション学習における学習パラメータとメカニズムの影響
• Authors: Zhuofan Zhang, Mi Zhou, Kaicheng Niu, and Chaouki Abdallah
• Abstract要約: 分散フェデレートラーニング(DFL)の概念を紹介する。 すべての実験は、MNISTの手書き桁データセット上で実行される。 モデルの重み間のばらつきが大きすぎる場合、トレーニングの失敗を観察します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning is an algorithm suited for training models on decentralized data, but the requirement of a central "server" node is a bottleneck. In this document, we first introduce the notion of Decentralized Federated Learning (DFL). We then perform various experiments on different setups, such as changing model aggregation frequency, switching from independent and identically distributed (IID) dataset partitioning to non-IID partitioning with partial global sharing, using different optimization methods across clients, and breaking models into segments with partial sharing. All experiments are run on the MNIST handwritten digits dataset. We observe that those altered training procedures are generally robust, albeit non-optimal. We also observe failures in training when the variance between model weights is too large. The open-source experiment code is accessible through GitHub\footnote{Code was uploaded at \url{https://github.com/zhzhang2018/DecentralizedFL}}.
• Abstract（参考訳）: フェデレーション学習は分散データでのモデルのトレーニングに適したアルゴリズムであるが、中央の"サーバー"ノードの必要性はボトルネックである。 本稿ではまず,分散連邦学習(DFL)の概念を紹介する。 次に,モデルアグリゲーションの頻度変更,独立かつ同一分散(iid)データセットのパーティショニングから部分的グローバル共有による非iidパーティショニングへの切り替え,クライアント間の最適化方法の相違,部分共有によるセグメンテーションへのモデル分割など,さまざまなセットアップ実験を行った。 すべての実験はMNISTの手書き桁データセット上で実行される。 修正したトレーニング手順は概して堅牢だが、最適ではない。 また,モデル重みのばらつきが大きすぎる場合のトレーニングの失敗も観察する。 オープンソースの実験コードはgithub\footnote{codeは \url{https://github.com/zhzhang2018/decentralizedfl}}にアップロードされている。

関連論文リスト

• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Scatterbrained: A flexible and expandable pattern for decentralized machine learning [1.2891210250935146]
  フェデレーション機械学習は、複数のデバイス間でデータを交換することなくモデルをトレーニングするテクニックである。 我々は、フェデレートされた学習パターンを分散化するための柔軟なフレームワークを提案し、PyTorchと互換性のあるオープンソースのリファレンス実装を提供する。
  論文  参考訳（メタデータ） (2021-12-14T19:39:35Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• A decentralized aggregation mechanism for training deep learning models using smart contract system for bank loan prediction [0.1933681537640272]
  スマートコントラクトシステムを用いてディープラーニングアーキテクチャのトレーニングを行う場合,分散データ設定のメリットを享受するソリューションを提案する。 ブロックチェーン上でのローカルANNモデルから得られた中間表現を集約する機構を提案する。 得られたパフォーマンスは、個々のノードよりも優れているが、集中型データ設定と同等である。
  論文  参考訳（メタデータ） (2020-11-22T10:47:45Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。