論文の概要: A GPU-Accelerated Bi-linear ADMM Algorithm for Distributed Sparse Machine Learning
- arxiv url: http://arxiv.org/abs/2405.16267v2
- Date: Wed, 26 Jun 2024 07:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 18:25:45.727601
- Title: A GPU-Accelerated Bi-linear ADMM Algorithm for Distributed Sparse Machine Learning
- Title（参考訳）: 分散スパース機械学習のためのGPU-Accelerated Bi-linear ADMMアルゴリズム
- Authors: Alireza Olama, Andreas Lundell, Jan Kronqvist, Elham Ahmadi, Eduardo Camponogara,
- Abstract要約: Bi-cADMMは、計算ノードのネットワーク上で定義された大規模正規化されたスパース機械学習問題を解決することを目的としている。
Bi-cADMMはParallel Sparse Fitting Toolboxと呼ばれるオープンソースのPythonパッケージで実装されている。
- 参考スコア（独自算出の注目度）: 4.258375398293221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the Bi-linear consensus Alternating Direction Method of Multipliers (Bi-cADMM), aimed at solving large-scale regularized Sparse Machine Learning (SML) problems defined over a network of computational nodes. Mathematically, these are stated as minimization problems with convex local loss functions over a global decision vector, subject to an explicit $\ell_0$ norm constraint to enforce the desired sparsity. The considered SML problem generalizes different sparse regression and classification models, such as sparse linear and logistic regression, sparse softmax regression, and sparse support vector machines. Bi-cADMM leverages a bi-linear consensus reformulation of the original non-convex SML problem and a hierarchical decomposition strategy that divides the problem into smaller sub-problems amenable to parallel computing. In Bi-cADMM, this decomposition strategy is based on a two-phase approach. Initially, it performs a sample decomposition of the data and distributes local datasets across computational nodes. Subsequently, a delayed feature decomposition of the data is conducted on Graphics Processing Units (GPUs) available to each node. This methodology allows Bi-cADMM to undertake computationally intensive data-centric computations on GPUs, while CPUs handle more cost-effective computations. The proposed algorithm is implemented within an open-source Python package called Parallel Sparse Fitting Toolbox (PsFiT), which is publicly available. Finally, computational experiments demonstrate the efficiency and scalability of our algorithm through numerical benchmarks across various SML problems featuring distributed datasets.
- Abstract（参考訳）: 本稿では,計算ノードネットワーク上で定義された大規模正規化スパース機械学習(SML)問題を解くことを目的とした,Bi-cADMM(Bi-linear consensus Alternating Direction Method of Multipliers)を提案する。
数学的には、これらは大域的決定ベクトル上の凸局所損失関数の最小化問題であり、所望の間隔を強制するための明示的な$\ell_0$ノルム制約に従う。
検討されたSML問題は、スパース線形回帰やロジスティック回帰、スパースソフトマックス回帰、スパースサポートベクトルマシンなど、異なるスパース回帰と分類モデルを一般化する。
Bi-cADMMは、元の非凸SML問題の線形コンセンサス再構成と、並列計算に適する小さなサブプロブレムに問題を分割する階層的な分解戦略を利用する。
Bi-cADMMでは、この分解戦略は2相アプローチに基づいている。
最初はデータのサンプル分解を行い、ローカルデータセットを計算ノードに分散する。
その後、各ノードで利用可能なグラフィクス処理ユニット(GPU)上で、データの遅延機能分解が行われる。
この手法により、Bi-cADMMはGPU上で計算集約的なデータ中心計算を実行でき、CPUはよりコスト効率のよい計算を処理できる。
提案アルゴリズムは、Parallel Sparse Fitting Toolbox (PsFiT)と呼ばれるオープンソースのPythonパッケージで実装され、公開されている。
最後に,分散データセットを特徴とする各種SML問題に対する数値ベンチマークにより,アルゴリズムの効率性と拡張性を示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Distributed Linear Regression with Compositional Covariates [5.085889377571319]
大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。
2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。
分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-21T11:09:37Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Sublinear Time Algorithms for Several Geometric Optimization (With
Outliers) Problems In Machine Learning [8.794896028549323]
ユークリッド空間$mathbbRd$における最小閉球(MEB)問題を再考する。
本稿では,MEBの安定性の概念を紹介する。
安定仮定の下では、半径近似MEBの2つのサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-07T15:03:45Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳（メタデータ） (2021-03-10T17:07:57Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Communication-efficient distributed eigenspace estimation [31.69089186688224]
我々は,データ行列の先頭不変部分空間を計算するための通信効率のよい分散アルゴリズムを開発した。
提案アルゴリズムは局所解と参照解の間のプロクリスト距離を最小化する新しいアライメント方式を用いる。
本アルゴリズムは,集中型推定器と同様の誤差率を示す。
論文 参考訳（メタデータ） (2020-09-05T02:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。