論文の概要: Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining
- arxiv url: http://arxiv.org/abs/2308.03035v1
- Date: Sun, 6 Aug 2023 06:51:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:12:46.407192
- Title: Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining
- Title（参考訳）: 多人数協調不均衡データマイニングのためのサーバレスフェデレーションAUPRC最適化
- Authors: Xidong Wu, Zhengmian Hu, Jian Pei, Heng Huang
- Abstract要約: 有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 119.89373423433804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-party collaborative training, such as distributed learning and
federated learning, is used to address the big data challenges. However,
traditional multi-party collaborative training algorithms were mainly designed
for balanced data mining tasks and are intended to optimize accuracy
(\emph{e.g.}, cross-entropy). The data distribution in many real-world
applications is skewed and classifiers, which are trained to improve accuracy,
perform poorly when applied to imbalanced data tasks since models could be
significantly biased toward the primary class. Therefore, the Area Under
Precision-Recall Curve (AUPRC) was introduced as an effective metric. Although
single-machine AUPRC maximization methods have been designed, multi-party
collaborative algorithm has never been studied. The change from the
single-machine to the multi-party setting poses critical challenges.
To address the above challenge, we study the serverless multi-party
collaborative AUPRC maximization problem since serverless multi-party
collaborative training can cut down the communications cost by avoiding the
server node bottleneck, and reformulate it as a conditional stochastic
optimization problem in a serverless multi-party collaborative learning setting
and propose a new ServerLess biAsed sTochastic gradiEnt (SLATE) algorithm to
directly optimize the AUPRC. After that, we use the variance reduction
technique and propose ServerLess biAsed sTochastic gradiEnt with Momentum-based
variance reduction (SLATE-M) algorithm to improve the convergence rate, which
matches the best theoretical convergence result reached by the single-machine
online method. To the best of our knowledge, this is the first work to solve
the multi-party collaborative AUPRC maximization problem.
- Abstract（参考訳）: 分散学習や連合学習といった多人数共同トレーニングは、ビッグデータの課題に対処するために使用される。
しかし、従来の多人数協調学習アルゴリズムは主にバランスの取れたデータマイニングタスクのために設計され、精度を最適化することを目的としている(\emph{e.} クロスエントロピー)。
多くの実世界のアプリケーションにおけるデータ分散は歪んでおり、精度向上のために訓練された分類器は、モデルがプライマリクラスにかなり偏りがあるため、不均衡なデータタスクに適用されると性能が低下する。
そのため、精度再呼曲線(auprc)の面積を有効指標として導入した。
シングルマシン AUPRC の最大化法は設計されているが、多人数協調アルゴリズムは研究されていない。
シングルマシンからマルチパーティ設定への変更は、重要な課題となる。
この課題に対処するために、サーバーレスマルチパーティ協調学習は、サーバーノードボトルネックを回避して通信コストを削減できるため、サーバーレスマルチパーティ協調学習環境における条件確率最適化問題として再編成し、AUPRCを直接最適化する新しいServerLess biAsed sTochastic gradiEnt (SLATE)アルゴリズムを提案する。
その後、分散低減手法を用いて、単一マシンのオンライン手法で到達した最良の理論的収束結果と一致する収束率を改善するために、モメンタムに基づく分散還元(SLATE-M)アルゴリズムを用いた ServerLess biAsed sTochastic gradiEntを提案する。
我々の知る限りでは、これはマルチパーティ共同AUPRCの最大化問題を解く最初の試みである。
関連論文リスト
- Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。
現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。
我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。
実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
論文 参考訳（メタデータ） (2024-06-14T07:22:39Z) - Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。
提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。
本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-06-11T01:20:53Z) - Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。
その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
論文 参考訳（メタデータ） (2024-06-03T19:43:06Z) - ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices [22.664980594996155]
フェデレートラーニング(FL)は、複数のパーティ(分散デバイス)が生データを共有せずに機械学習モデルをトレーニングすることを可能にする。
本稿では,中央サーバにおける強力な計算能力を最大限に活用するために,効率的な分割フェデレーション学習アルゴリズム(ESFL)を提案する。
論文 参考訳（メタデータ） (2024-02-24T20:50:29Z) - DePRL: Achieving Linear Convergence Speedup in Personalized
Decentralized Learning with Shared Representations [31.47686582044592]
本稿では,共有表現を用いた分散学習アルゴリズムDePRLを提案する。
初めて、DePRLは一般非線形表現との収束の証明可能な線形高速化を実現する。
論文 参考訳（メタデータ） (2023-12-17T20:53:37Z) - Communication-Efficient Federated Non-Linear Bandit Optimization [26.23638987873429]
汎用非線形目的関数を用いた連邦帯域最適化のための新しいアルゴリズムであるFed-GO-UCBを提案する。
いくつかの軽度の条件下では、Fed-GO-UCBが累積的後悔と通信コストの両方でサブ線形レートを達成できることを厳格に証明する。
論文 参考訳（メタデータ） (2023-11-03T03:50:31Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳（メタデータ） (2020-08-24T13:23:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。