論文の概要: Proof of Swarm Based Ensemble Learning for Federated Learning Applications

• arxiv url: http://arxiv.org/abs/2212.14050v1
• Date: Wed, 28 Dec 2022 13:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:55:05.802252
• Title: Proof of Swarm Based Ensemble Learning for Federated Learning Applications
• Title（参考訳）: フェデレーション学習のためのswarmに基づくアンサンブル学習の証明
• Authors: Ali Raza, Kim Phuc Tran, Ludovic Koehl, Shujun Li
• Abstract要約: 連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
• 参考スコア（独自算出の注目度）: 3.2536767864585663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning combines results from multiple machine learning models in order to provide a better and optimised predictive model with reduced bias, variance and improved predictions. However, in federated learning it is not feasible to apply centralised ensemble learning directly due to privacy concerns. Hence, a mechanism is required to combine results of local models to produce a global model. Most distributed consensus algorithms, such as Byzantine fault tolerance (BFT), do not normally perform well in such applications. This is because, in such methods predictions of some of the peers are disregarded, so a majority of peers can win without even considering other peers' decisions. Additionally, the confidence score of the result of each peer is not normally taken into account, although it is an important feature to consider for ensemble learning. Moreover, the problem of a tie event is often left un-addressed by methods such as BFT. To fill these research gaps, we propose PoSw (Proof of Swarm), a novel distributed consensus algorithm for ensemble learning in a federated setting, which was inspired by particle swarm based algorithms for solving optimisation problems. The proposed algorithm is theoretically proved to always converge in a relatively small number of steps and has mechanisms to resolve tie events while trying to achieve sub-optimum solutions. We experimentally validated the performance of the proposed algorithm using ECG classification as an example application in healthcare, showing that the ensemble learning model outperformed all local models and even the FL-based global model. To the best of our knowledge, the proposed algorithm is the first attempt to make consensus over the output results of distributed models trained using federated learning.
• Abstract（参考訳）: アンサンブル学習は複数の機械学習モデルの結果を組み合わせて、バイアス、分散、改善された予測を低減し、より良く最適化された予測モデルを提供する。 しかし,連合学習では,プライバシ上の懸念から,中央集権的なアンサンブル学習を直接適用することは不可能である。 したがって、局所モデルの結果を結合してグローバルモデルを生成するメカニズムが必要となる。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 これは、一部のピアの予測が無視されているため、ほとんどのピアが他のピアの判断を考慮せずに勝利できるためである。 また、各ピアの結果の信頼度スコアは通常は考慮されていないが、アンサンブル学習に考慮すべき重要な特徴である。 さらに、ネクタイイベントの問題は、BFTのようなメソッドによって未適応にされることが多い。 これらの研究ギャップを埋めるために,粒子群に基づくアルゴリズムにインスパイアされた,分散学習のための分散コンセンサスアルゴリズムPoSw(Proof of Swarm)を提案する。 提案するアルゴリズムは, 比較的少ないステップで常に収束し, 最適解の達成を試みながら結合イベントを解決する機構を有することが理論的に証明されている。 医療分野の例としてECG分類を用いて提案アルゴリズムの性能を実験的に検証し、アンサンブル学習モデルが全ての局所モデルやFLベースグローバルモデルよりも優れていたことを示す。 我々の知る限り、提案アルゴリズムは、フェデレート学習を用いて訓練された分散モデルの出力結果にコンセンサスを与える最初の試みである。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization [1.911678487931003]
  フェデレーション学習は、複数のユーザから学習モデルをトレーニングし、各ユーザが独自のデータセットを持ち、データのプライバシやコミュニケーション損失の制約に敏感な方法で統合することを目指している。 本稿では,コンセンサスに基づく最適化(CBO)のアイデアに触発された,グローバルでクラスタ化されたフェデレーション学習問題に対する新しい解決策を提案する。 我々の新しいCBO型法は、グループに不利な相互作用粒子のシステムに基づいている。
  論文  参考訳（メタデータ） (2023-05-04T15:02:09Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Context-Aware Ensemble Learning for Time Series [11.716677452529114]
  本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。 我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
  論文  参考訳（メタデータ） (2022-11-30T10:36:13Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Towards Model Agnostic Federated Learning Using Knowledge Distillation [9.947968358822951]
  本研究では,モデル非依存通信プロトコルの理論的研究を開始する。 我々は,2つのエージェントが異なるカーネルを用いてカーネルレグレッションを実行しようとする設定に焦点を当てる。 我々の研究は驚くべき結果をもたらします -- 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課します。
  論文  参考訳（メタデータ） (2021-10-28T15:27:51Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。