論文の概要: Optimal Data Splitting in Distributed Optimization for Machine Learning

• arxiv url: http://arxiv.org/abs/2401.07809v1
• Date: Mon, 15 Jan 2024 16:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 16:38:04.948484
• Title: Optimal Data Splitting in Distributed Optimization for Machine Learning
• Title（参考訳）: 機械学習のための分散最適化における最適データ分割
• Authors: Daniil Medyakov, Gleb Molodtsov, Aleksandr Beznosikov, Alexander Gasnikov
• Abstract要約: 本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。 ネットワークの実行時間は、一様分布と最適分布で比較される。 提案手法の優れた理論的性能を実験的に検証した。
• 参考スコア（独自算出の注目度）: 91.12425544503395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The distributed optimization problem has become increasingly relevant recently. It has a lot of advantages such as processing a large amount of data in less time compared to non-distributed methods. However, most distributed approaches suffer from a significant bottleneck - the cost of communications. Therefore, a large amount of research has recently been directed at solving this problem. One such approach uses local data similarity. In particular, there exists an algorithm provably optimally exploiting the similarity property. But this result, as well as results from other works solve the communication bottleneck by focusing only on the fact that communication is significantly more expensive than local computing and does not take into account the various capacities of network devices and the different relationship between communication time and local computing expenses. We consider this setup and the objective of this study is to achieve an optimal ratio of distributed data between the server and local machines for any costs of communications and local computations. The running times of the network are compared between uniform and optimal distributions. The superior theoretical performance of our solutions is experimentally validated.
• Abstract（参考訳）: 分散最適化問題は近年ますます関連性が高まっている。 非分散メソッドに比べて少ない時間で大量のデータを処理できるなど、多くの利点があります。 しかし、ほとんどの分散アプローチは、通信コストという重大なボトルネックを抱えています。 そのため,近年,この問題の解決に向けた研究が盛んに行われている。 そのようなアプローチの1つは、ローカルデータ類似性を使用する。 特に、類似性特性を最適に活用するアルゴリズムが存在する。 しかし、この結果と他の研究の結果は、通信がローカルコンピューティングよりも著しく高価であり、ネットワーク機器の様々な能力と通信時間とローカルコンピューティングコストの異なる関係を考慮しないという事実のみに注目して通信のボトルネックを解決している。 本研究の目的は,サーバとローカルマシン間の分散データの最適比を,通信やローカル計算のコストに対して達成することである。 ネットワークの実行時間は、均一分布と最適分布で比較される。 我々の解の優れた理論的性能は実験的に検証される。

関連論文リスト

• Fast networked data selection via distributed smoothed quantile estimation [6.002041236376175]
  我々は,最も情報性の高いデータを選択することと,マルチセットの上位k$要素を見つけることの関連性を確立する。 ネットワークにおけるトップ$kの選択は、量子的推定として知られる分散非平滑凸最適化問題として定式化することができる。 我々は、高い凸性の欠如による挑戦的な課題である、トップ$選択を達成するために必要な複雑さを特徴付けている。
  論文  参考訳（メタデータ） (2024-06-04T03:26:15Z)
• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
  分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。 ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
  論文  参考訳（メタデータ） (2023-02-20T08:37:44Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Communication-efficient distributed eigenspace estimation [31.69089186688224]
  我々は,データ行列の先頭不変部分空間を計算するための通信効率のよい分散アルゴリズムを開発した。 提案アルゴリズムは局所解と参照解の間のプロクリスト距離を最小化する新しいアライメント方式を用いる。 本アルゴリズムは,集中型推定器と同様の誤差率を示す。
  論文  参考訳（メタデータ） (2020-09-05T02:11:22Z)
• Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
  本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。 i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
  論文  参考訳（メタデータ） (2020-05-18T16:28:54Z)
• Communication-Efficient Distributed Deep Learning: A Comprehensive Survey [22.42450750097714]
  本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。 まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。 次に、これらの4次元の問題に対処する最先端の研究について検討する。
  論文  参考訳（メタデータ） (2020-03-10T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。