論文の概要: CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity

• arxiv url: http://arxiv.org/abs/2309.13307v1
• Date: Sat, 23 Sep 2023 08:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 20:43:34.882144
• Title: CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity
• Title（参考訳）: CORE: 確率的低通信複素量分散最適化のための共通ランダム再構成
• Authors: Pengyun Yue, Hanzhen Zhao, Cong Fang, Di He, Liwei Wang, Zhouchen Lin, Song-chun Zhu
• Abstract要約: コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
• 参考スコア（独自算出の注目度）: 110.50364486645852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With distributed machine learning being a prominent technique for large-scale machine learning tasks, communication complexity has become a major bottleneck for speeding up training and scaling up machine numbers. In this paper, we propose a new technique named Common randOm REconstruction(CORE), which can be used to compress the information transmitted between machines in order to reduce communication complexity without other strict conditions. Especially, our technique CORE projects the vector-valued information to a low-dimensional one through common random vectors and reconstructs the information with the same random noises after communication. We apply CORE to two distributed tasks, respectively convex optimization on linear models and generic non-convex optimization, and design new distributed algorithms, which achieve provably lower communication complexities. For example, we show for linear models CORE-based algorithm can encode the gradient vector to $\mathcal{O}(1)$-bits (against $\mathcal{O}(d)$), with the convergence rate not worse, preceding the existing results.
• Abstract（参考訳）: 分散機械学習が大規模な機械学習タスクの顕著なテクニックであるため、通信の複雑さは、トレーニングのスピードアップとマシン番号のスケールアップの大きなボトルネックとなっている。 本稿では,他の厳密な条件を伴わない通信複雑性を低減するために,機械間で送信される情報を圧縮するために,Common randOm Reconstruction (CORE) という新しい手法を提案する。 特に,提案手法のコアは,共通のランダムベクトルを介してベクトル値情報を低次元に投影し,通信後に同じランダムノイズで情報を再構成する。 線形モデルにおける凸最適化と一般凸最適化の2つの分散タスクにCOREを適用し,通信の複雑さを確実に低減する新しい分散アルゴリズムを設計する。 例えば、線形モデルの場合、コアベースアルゴリズムは勾配ベクトルを$\mathcal{o}(1)$-bits($\mathcal{o}(d)$)にエンコードできるが、現在の結果に先立って収束率は悪くない。

関連論文リスト

• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
  本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。 エージェントはネットワークと外部の両方の問題を一度に解くことができる。 我々のアルゴリズムは最先端の効率とテスト精度を達成する。
  論文  参考訳（メタデータ） (2022-06-22T06:38:54Z)
• Combinatorial optimization for low bit-width neural networks [23.466606660363016]
  低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。 既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。 グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-04T15:02:36Z)
• Smoothness Matrices Beat Smoothness Constants: Better Communication Compression Techniques for Distributed Optimization [10.592277756185046]
  大規模分散最適化は、教師付き機械学習モデルのトレーニングのデフォルトツールとなっている。 我々は,局所的損失に伴う滑らかさ行列を最大限に活用できる新しいコミュニケーションスパーシフィケーション戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-14T20:55:02Z)
• Recovery of Linear Components: Reduced Complexity Autoencoder Designs [0.951828574518325]
  本論文では,線形・非線形次元低減技術の中間点となる線形成分の回収(Recovery of Linear Components, RLC)という手法を提案する。 合成および実世界のケーススタディの助けを借りて,類似した複雑性を持つオートエンコーダと比較すると,rlcは高い精度を示し,頑健性と過剰適合性,より高速なトレーニング時間を示すことを示した。
  論文  参考訳（メタデータ） (2020-12-14T14:08:20Z)
• A Robust Matching Pursuit Algorithm Using Information Theoretic Learning [37.968665739578185]
  情報理論学習(ITL)に基づく新しいOMPアルゴリズムの開発 シミュレーションおよび実世界の両方のデータに対する実験結果は、データ復元、画像再構成、分類において提案したOMPアルゴリズムの優位性を一貫して示している。
  論文  参考訳（メタデータ） (2020-05-10T01:36:00Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。