論文の概要: Federated K-Means Clustering via Dual Decomposition-based Distributed
Optimization
- arxiv url: http://arxiv.org/abs/2307.13267v1
- Date: Tue, 25 Jul 2023 05:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 18:15:14.362589
- Title: Federated K-Means Clustering via Dual Decomposition-based Distributed
Optimization
- Title（参考訳）: 二重分解に基づく分散最適化によるK-Meansクラスタリング
- Authors: Vassilios Yfantis, Achim Wagner, Martin Ruskowski
- Abstract要約: 本稿では,$Kのクラスタリング問題に対する分散トレーニングに双対分解を適用する方法について述べる。
トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of distributed optimization in machine learning can be motivated
either by the resulting preservation of privacy or the increase in
computational efficiency. On the one hand, training data might be stored across
multiple devices. Training a global model within a network where each node only
has access to its confidential data requires the use of distributed algorithms.
Even if the data is not confidential, sharing it might be prohibitive due to
bandwidth limitations. On the other hand, the ever-increasing amount of
available data leads to large-scale machine learning problems. By splitting the
training process across multiple nodes its efficiency can be significantly
increased. This paper aims to demonstrate how dual decomposition can be applied
for distributed training of $ K $-means clustering problems. After an overview
of distributed and federated machine learning, the mixed-integer quadratically
constrained programming-based formulation of the $ K $-means clustering
training problem is presented. The training can be performed in a distributed
manner by splitting the data across different nodes and linking these nodes
through consensus constraints. Finally, the performance of the subgradient
method, the bundle trust method, and the quasi-Newton dual ascent algorithm are
evaluated on a set of benchmark problems. While the mixed-integer
programming-based formulation of the clustering problems suffers from weak
integer relaxations, the presented approach can potentially be used to enable
an efficient solution in the future, both in a central and distributed setting.
- Abstract（参考訳）: 機械学習における分散最適化の使用は、結果として生じるプライバシの保存や計算効率の向上によって動機付けられる。
一方、トレーニングデータは複数のデバイスにまたがって保存される可能性がある。
各ノードが機密データのみにアクセスするネットワーク内のグローバルモデルをトレーニングするには、分散アルゴリズムを使用する必要がある。
データが秘密でなくても、帯域幅の制限により共有は禁じられるかもしれない。
一方、利用可能なデータが増え続けると、大規模な機械学習の問題が発生する。
トレーニングプロセスを複数のノードに分割することで、その効率を大幅に向上させることができる。
本稿では,$Kのクラスタリング問題に対する分散トレーニングにおいて,双対分解が適用可能であることを示す。
分散機械学習とフェデレーション機械学習の概要を概説した後、K$-meansクラスタリング学習問題の4次制約付きプログラミングベースの定式化について述べる。
トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
最後に、一連のベンチマーク問題に基づいて、下位段階法、バンドル信頼法、準ニュートン二重昇華アルゴリズムの性能を評価する。
クラスタリング問題の混合整数プログラミングに基づく定式化は、弱い整数緩和に悩まされるが、提案手法は、中央と分散の両方において、将来的に効率的な解を実現するために使われる可能性がある。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Large Scale Constrained Clustering With Reinforcement Learning [1.3597551064547502]
ネットワークが与えられた場合、各ノードではなく、クラスタレベルでリソースを割り当てることによって、リソースの割り当てと使用効率が向上する。
本稿では,この制約付きクラスタリング問題を強化学習を用いて解く手法を提案する。
結果の節では,大規模インスタンスにおいても,アルゴリズムが最適に近い解を見つけることを示す。
論文 参考訳（メタデータ） (2024-02-15T18:27:18Z) - Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。
遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
論文 参考訳（メタデータ） (2024-01-03T13:07:07Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Weight Divergence Driven Divide-and-Conquer Approach for Optimal
Federated Learning from non-IID Data [0.0]
Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。
本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T09:34:20Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - An Efficient Framework for Clustered Federated Learning [26.24231986590374]
本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。
反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。
ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
論文 参考訳（メタデータ） (2020-06-07T08:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。