論文の概要: Quantization Avoids Saddle Points in Distributed Optimization

• arxiv url: http://arxiv.org/abs/2403.10423v1
• Date: Fri, 15 Mar 2024 15:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:21:13.802280
• Title: Quantization Avoids Saddle Points in Distributed Optimization
• Title（参考訳）: 分散最適化におけるサドル点の量子化回避
• Authors: Yanan Bo, Yongqiang Wang,
• Abstract要約: 分散非最適化は、多くの分散システムの重要な機能を支える。 本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。 簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
• 参考スコア（独自算出の注目度）: 1.579622195923387
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Distributed nonconvex optimization underpins key functionalities of numerous distributed systems, ranging from power systems, smart buildings, cooperative robots, vehicle networks to sensor networks. Recently, it has also merged as a promising solution to handle the enormous growth in data and model sizes in deep learning. A fundamental problem in distributed nonconvex optimization is avoiding convergence to saddle points, which significantly degrade optimization accuracy. We discover that the process of quantization, which is necessary for all digital communications, can be exploited to enable saddle-point avoidance. More specifically, we propose a stochastic quantization scheme and prove that it can effectively escape saddle points and ensure convergence to a second-order stationary point in distributed nonconvex optimization. With an easily adjustable quantization granularity, the approach allows a user to control the number of bits sent per iteration and, hence, to aggressively reduce the communication overhead. Numerical experimental results using distributed optimization and learning problems on benchmark datasets confirm the effectiveness of the approach.
• Abstract（参考訳）: 分散非凸最適化は、電力システム、スマートビル、協調ロボット、車両ネットワーク、センサーネットワークなど、多くの分散システムの主要な機能を支える。 最近では、ディープラーニングにおけるデータとモデルサイズの大きな成長を扱うための、有望なソリューションとして統合されている。 分散非凸最適化の基本的な問題は、サドル点への収束を回避し、最適化精度を著しく低下させることである。 すべてのデジタル通信に必要となる量子化のプロセスは、サドルポイント回避のために利用することができる。 より具体的には、確率的量子化方式を提案し、分散非凸最適化において、サドル点を効果的に回避し、2階定常点への収束を保証することを証明した。 容易に調整可能な量子化の粒度により、ユーザーはイテレーション毎に送信されるビット数を制御できるため、通信オーバーヘッドを積極的に削減することができる。 ベンチマークデータセット上での分散最適化と学習問題を用いた数値実験により,提案手法の有効性が確認された。

関連論文リスト

• Fast networked data selection via distributed smoothed quantile estimation [6.002041236376175]
  我々は,最も情報性の高いデータを選択することと,マルチセットの上位k$要素を見つけることの関連性を確立する。 ネットワークにおけるトップ$kの選択は、量子的推定として知られる分散非平滑凸最適化問題として定式化することができる。 我々は、高い凸性の欠如による挑戦的な課題である、トップ$選択を達成するために必要な複雑さを特徴付けている。
  論文  参考訳（メタデータ） (2024-06-04T03:26:15Z)
• Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
  本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。 コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。 また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
  論文  参考訳（メタデータ） (2024-02-20T23:59:45Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
  本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。 センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
  論文  参考訳（メタデータ） (2023-09-05T22:33:02Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Quantization enabled Privacy Protection in Decentralized Stochastic Optimization [34.24521534464185]
  分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。 プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。 本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-07T15:17:23Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
  本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。 提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。 また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
  論文  参考訳（メタデータ） (2021-04-13T08:23:46Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。