論文の概要: Consensus learning: A novel decentralised ensemble learning paradigm

• arxiv url: http://arxiv.org/abs/2402.16157v1
• Date: Sun, 25 Feb 2024 17:35:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:14:49.640629
• Title: Consensus learning: A novel decentralised ensemble learning paradigm
• Title（参考訳）: 合意学習:新しい分散アンサンブル学習パラダイム
• Authors: Horia Magureanu and Na\"iri Usher
• Abstract要約: この研究は、古典的なアンサンブルメソッドとピアツーピアシステムにデプロイされたコンセンサスプロトコルを組み合わせた、新しい分散機械学習パラダイム、Emphconsensus Learningを導入している。 特定のコンセンサスプロトコルの詳細な理論的解析を行い、コンセンサス学習アンサンブルの性能と集中型アンサンブル学習アルゴリズムの比較を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread adoption of large-scale machine learning models in recent years highlights the need for distributed computing for efficiency and scalability. This work introduces a novel distributed machine learning paradigm -- \emph{consensus learning} -- which combines classical ensemble methods with consensus protocols deployed in peer-to-peer systems. These algorithms consist of two phases: first, participants develop their models and submit predictions for any new data inputs; second, the individual predictions are used as inputs for a communication phase, which is governed by a consensus protocol. Consensus learning ensures user data privacy, while also inheriting the safety measures against Byzantine attacks from the underlying consensus mechanism. We provide a detailed theoretical analysis for a particular consensus protocol and compare the performance of the consensus learning ensemble with centralised ensemble learning algorithms. The discussion is supplemented by various numerical simulations, which describe the robustness of the algorithms against Byzantine participants.
• Abstract（参考訳）: 近年の大規模な機械学習モデルの普及は、効率性とスケーラビリティのための分散コンピューティングの必要性を強調している。 この研究は、従来のアンサンブルメソッドとピアツーピアシステムにデプロイされたコンセンサスプロトコルを組み合わせた、新しい分散機械学習パラダイム -- \emph{consensus learning}を導入している。 第一に、参加者はモデルを開発し、新しいデータ入力の予測を提出する。第二に、個々の予測は、コンセンサスプロトコルによって制御される通信フェーズの入力として使用される。 合意学習は、ユーザデータのプライバシを保証すると同時に、基盤となるコンセンサスメカニズムからビザンツ攻撃に対する安全対策を継承する。 本稿では,特定のコンセンサスプロトコルの詳細な理論解析を行い,コンセンサス学習アンサンブルの性能を一元化アンサンブル学習アルゴリズムと比較する。 この議論は、ビザンチン参加者に対するアルゴリズムの堅牢性を記述する様々な数値シミュレーションによって補われている。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Improving Link Prediction in Social Networks Using Local and Global Features: A Clustering-based Approach [0.0]
  本稿では,リンク予測問題に対処するため,第1グループと第2グループを組み合わせた手法を提案する。 提案手法は,まずノードの位置と動的挙動に関連する特徴を同定する。 そして、計算された類似度尺度に基づいて、サブスペースクラスタリングアルゴリズムをグループ社会オブジェクトに適用する。
  論文  参考訳（メタデータ） (2023-05-17T14:45:02Z)
• Algorithmic Collective Action in Machine Learning [35.91866986642348]
  機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。 本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。 我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T18:55:49Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
  本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。 私たちはそれを示します。 戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
  論文  参考訳（メタデータ） (2021-12-17T12:47:18Z)
• Towards Model Agnostic Federated Learning Using Knowledge Distillation [9.947968358822951]
  本研究では,モデル非依存通信プロトコルの理論的研究を開始する。 我々は,2つのエージェントが異なるカーネルを用いてカーネルレグレッションを実行しようとする設定に焦点を当てる。 我々の研究は驚くべき結果をもたらします -- 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課します。
  論文  参考訳（メタデータ） (2021-10-28T15:27:51Z)
• A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
  広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。 エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。 本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-19T19:43:28Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。