論文の概要: Practical Precoding via Asynchronous Stochastic Successive Convex
Approximation
- arxiv url: http://arxiv.org/abs/2010.01360v1
- Date: Sat, 3 Oct 2020 13:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 11:46:07.433648
- Title: Practical Precoding via Asynchronous Stochastic Successive Convex
Approximation
- Title（参考訳）: Asynchronous Stochastic Successive Convex Approximation による実践的プリコーディング
- Authors: Basil M. Idrees, Javed Akhtar, Ketan Rajawat
- Abstract要約: 凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。
本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
- 参考スコア（独自算出の注目度）: 8.808993671472349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider stochastic optimization of a smooth non-convex loss function with
a convex non-smooth regularizer. In the online setting, where a single sample
of the stochastic gradient of the loss is available at every iteration, the
problem can be solved using the proximal stochastic gradient descent (SGD)
algorithm and its variants. However in many problems, especially those arising
in communications and signal processing, information beyond the stochastic
gradient may be available thanks to the structure of the loss function. Such
extra-gradient information is not used by SGD, but has been shown to be useful,
for instance in the context of stochastic expectation-maximization, stochastic
majorization-minimization, and stochastic successive convex approximation (SCA)
approaches. By constructing a stochastic strongly convex surrogates of the loss
function at every iteration, the stochastic SCA algorithms can exploit the
structural properties of the loss function and achieve superior empirical
performance as compared to the SGD.
In this work, we take a closer look at the stochastic SCA algorithm and
develop its asynchronous variant which can be used for resource allocation in
wireless networks. While the stochastic SCA algorithm is known to converge
asymptotically, its iteration complexity has not been well-studied, and is the
focus of the current work. The insights obtained from the non-asymptotic
analysis allow us to develop a more practical asynchronous variant of the
stochastic SCA algorithm which allows the use of surrogates calculated in
earlier iterations. We characterize precise bound on the maximum delay the
algorithm can tolerate, while still achieving the same convergence rate. We
apply the algorithm to the problem of linear precoding in wireless sensor
networks, where it can be implemented at low complexity but is shown to perform
well in practice.
- Abstract（参考訳）: 凸非スムース正則化器を有する滑らかな非凸損失関数の確率的最適化を考える。
オンライン環境では、各イテレーションで損失の確率的勾配の1つのサンプルが利用可能である場合、近位確率的勾配降下(proximal stochastic gradient descent, sgd)アルゴリズムとその変種を用いて問題を解くことができる。
しかし、多くの問題、特に通信や信号処理で発生する問題では、損失関数の構造のおかげで確率的勾配を超える情報が得られる。
このような漸進的な情報はSGDでは使われていないが、例えば確率的予想最大化、確率的偏極最小化、確率的連続凸近似(SCA)アプローチなどにおいて有用であることが示されている。
各繰り返しで損失関数の確率的凸を強く支持することにより、確率的SCAアルゴリズムは損失関数の構造特性を利用して、SGDと比較して優れた経験的性能を得ることができる。
本研究では,確率的scaアルゴリズムを詳細に検討し,無線ネットワークにおけるリソース割り当てに使用可能な非同期型を開発した。
確率的SCAアルゴリズムは漸近的に収束することが知られているが、そのイテレーションの複雑さは十分に研究されておらず、現在の作業の焦点となっている。
非漸近解析から得られた知見により、より実用的な確率的SCAアルゴリズムの非同期版を開発し、初期の反復で計算されたサロゲートの使用を可能にする。
我々は、アルゴリズムが許容できる最大遅延の正確な境界を特徴付けるが、同じ収束率を達成できる。
このアルゴリズムを無線センサネットワークにおける線形プリコーディング問題に適用し,低複雑性で実装できるが,実際に機能することを示す。
関連論文リスト
- Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - A Gradient Smoothed Functional Algorithm with Truncated Cauchy Random
Perturbations for Stochastic Optimization [10.820943271350442]
本稿では,雑音の多いコストサンプルに対する期待値であるスムーズな目的関数を最小化するための凸勾配アルゴリズムを提案する。
また,本アルゴリズムは局所最小値への収束を示唆し,レートリリアを回避できることも示している。
論文 参考訳（メタデータ） (2022-07-30T18:50:36Z) - On the Convergence of mSGD and AdaGrad for Stochastic Optimization [0.696125353550498]
凸降下(SGD)は、過去10年間に機械学習に大きく開発され、広く応用されてきた。
モーメントベースのSGD(mSGD)や適応的勾配最適化(AdaGrad)など、多くの競合や応用においてSGDよりも優れている修正SGD型アルゴリズムもある。
我々は,機械学習における任意の滑らかな(不可能かもしれない)損失関数に対するmSGDとAdaGradの収束解析に着目する。
論文 参考訳（メタデータ） (2022-01-26T22:02:21Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Non-asymptotic estimates for TUSLA algorithm for non-convex learning
with applications to neural networks with ReLU activation function [3.5044892799305956]
Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。
特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。
TUSLAアルゴリズムは最適解に急速に収束することを示す。
論文 参考訳（メタデータ） (2021-07-19T07:13:02Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳（メタデータ） (2021-07-06T21:59:49Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Stochastic optimization with momentum: convergence, fluctuations, and
traps avoidance [0.0]
本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。
この回避は、非自明な常微分方程式のノイズ離散化として研究される。
論文 参考訳（メタデータ） (2020-12-07T19:14:49Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。