Fugu-MT 論文翻訳(概要): Fair Decentralized Learning

論文の概要: Fair Decentralized Learning

arxiv url: http://arxiv.org/abs/2410.02541v1
Date: Thu, 3 Oct 2024 14:45:23 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 02:31:52.854044
Title: Fair Decentralized Learning
Title（参考訳）: 公平な分散学習
Authors: Sayan Biswas, Anne-Marie Kermarrec, Rishi Sharma, Thibaud Trinca, Martijn de Vos,
Abstract要約: フェアモデルトレーニングのためのクラスタリングベースの機械学習アルゴリズムであるtextscFacadeを紹介する。 textscFacadeは、時間とともにノードを適切なクラスタに動的に割り当て、ノードが完全に分散された方法で各クラスタの特別なモデルを協調的にトレーニングすることを可能にする。 3つのデータセットに対する実験結果は、モデル精度と公平性の観点から、我々のアプローチの優位性を示すものである。
参考スコア（独自算出の注目度）: 1.7010199949406575
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decentralized learning (DL) is an emerging approach that enables nodes to collaboratively train a machine learning model without sharing raw data. In many application domains, such as healthcare, this approach faces challenges due to the high level of heterogeneity in the training data's feature space. Such feature heterogeneity lowers model utility and negatively impacts fairness, particularly for nodes with under-represented training data. In this paper, we introduce \textsc{Facade}, a clustering-based DL algorithm specifically designed for fair model training when the training data exhibits several distinct features. The challenge of \textsc{Facade} is to assign nodes to clusters, one for each feature, based on the similarity in the features of their local data, without requiring individual nodes to know apriori which cluster they belong to. \textsc{Facade} (1) dynamically assigns nodes to their appropriate clusters over time, and (2) enables nodes to collaboratively train a specialized model for each cluster in a fully decentralized manner. We theoretically prove the convergence of \textsc{Facade}, implement our algorithm, and compare it against three state-of-the-art baselines. Our experimental results on three datasets demonstrate the superiority of our approach in terms of model accuracy and fairness compared to all three competitors. Compared to the best-performing baseline, \textsc{Facade} on the CIFAR-10 dataset also reduces communication costs by 32.3\% to reach a target accuracy when cluster sizes are imbalanced.
Abstract（参考訳）: 分散学習(DL)は、ノードが生データを共有せずに機械学習モデルを協調的にトレーニングすることを可能にする、新たなアプローチである。医療などの多くのアプリケーション領域において、このアプローチはトレーニングデータの特徴空間における異種性のレベルが高いため、課題に直面します。このような特徴の不均一性はモデルの有用性を低下させ、特に未表現のトレーニングデータを持つノードに対して、公平性に悪影響を及ぼす。本稿では,クラスタリングに基づくDLアルゴリズムである \textsc{Facade} について紹介する。 textsc{Facade}の課題は、個々のノードがどのクラスタに属しているのかを知る必要がなく、ローカルデータの特徴の類似性に基づいて、各機能ごとにノードをクラスタに割り当てることである。 \textsc{Facade} (1) は、時間とともにノードを適切なクラスタに動的に割り当て、(2) ノードは、完全に分散された方法で各クラスタの特別なモデルを協調的にトレーニングすることができる。理論的には、textsc{Facade} の収束を証明し、我々のアルゴリズムを実装し、3つの最先端のベースラインと比較する。 3つのデータセットに対する実験結果は、モデル精度と公平性の観点から、我々のアプローチの優位性を示すものである。 CIFAR-10データセットの‘textsc{Facade}’は、最高のパフォーマンスのベースラインと比較して、クラスタサイズが不均衡な場合にターゲット精度に達するために通信コストを32.3\%削減する。

関連論文リスト

Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文参考訳（メタデータ） (2024-08-20T09:05:44Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
論文参考訳（メタデータ） (2022-06-20T22:39:39Z)
Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文参考訳（メタデータ） (2021-09-11T09:26:52Z)
You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文参考訳（メタデータ） (2021-06-03T14:59:59Z)
Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
論文参考訳（メタデータ） (2021-03-02T21:58:12Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文参考訳（メタデータ） (2020-07-07T18:25:25Z)
Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文参考訳（メタデータ） (2020-04-01T19:05:28Z)
Learning to Cluster Faces via Confidence and Connectivity Estimation [136.5291151775236]
重複する部分グラフを多数必要とせず,完全に学習可能なクラスタリングフレームワークを提案する。提案手法はクラスタリングの精度を大幅に向上させ,その上で訓練した認識モデルの性能を向上させるが,既存の教師付き手法に比べて桁違いに効率的である。
論文参考訳（メタデータ） (2020-04-01T13:39:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。