論文の概要: Stochastic Approximation Beyond Gradient for Signal Processing and Machine Learning

• arxiv url: http://arxiv.org/abs/2302.11147v1
• Date: Wed, 22 Feb 2023 05:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:16:43.379359
• Title: Stochastic Approximation Beyond Gradient for Signal Processing and Machine Learning
• Title（参考訳）: 信号処理と機械学習のための確率的近似
• Authors: Aymeric Dieuleveut, Gersende Fort, Eric Moulines, Hoi-To Wai
• Abstract要約: 本稿では,信号処理と機械学習のオーディエンスに対して,非確率的・漸進的な近似(SA)の視点を紹介する。 我々は、様々な穏やかな条件を満たすリャプノフ関数のクラスに基づいて分析フレームワークを構築した。 サンプルの複雑さを改善するため, 新たな分散低減技術の拡張についても論じる。
• 参考スコア（独自算出の注目度）: 40.636276521022474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic approximation (SA) is a classical algorithm that has had since the early days a huge impact on signal processing, and nowadays on machine learning, due to the necessity to deal with a large amount of data observed with uncertainties. An exemplar special case of SA pertains to the popular stochastic (sub)gradient algorithm which is the working horse behind many important applications. A lesser-known fact is that the SA scheme also extends to non-stochastic-gradient algorithms such as compressed stochastic gradient, stochastic expectation-maximization, and a number of reinforcement learning algorithms. The aim of this article is to overview and introduce the non-stochastic-gradient perspectives of SA to the signal processing and machine learning audiences through presenting a design guideline of SA algorithms backed by theories. Our central theme is to propose a general framework that unifies existing theories of SA, including its non-asymptotic and asymptotic convergence results, and demonstrate their applications on popular non-stochastic-gradient algorithms. We build our analysis framework based on classes of Lyapunov functions that satisfy a variety of mild conditions. We draw connections between non-stochastic-gradient algorithms and scenarios when the Lyapunov function is smooth, convex, or strongly convex. Using the said framework, we illustrate the convergence properties of the non-stochastic-gradient algorithms using concrete examples. Extensions to the emerging variance reduction techniques for improved sample complexity will also be discussed.
• Abstract（参考訳）: 確率近似(英: stochastic approximation、sa)は、不確実性を伴う大量のデータを扱う必要性から、信号処理や機械学習に大きな影響を与えた古典的なアルゴリズムである。 SAの典型例は、多くの重要な応用の背後にある作業馬である一般的な確率的(部分)漸進的アルゴリズムに関するものである。 あまり知られていない事実として、saスキームは圧縮確率勾配、確率的期待最大化、強化学習アルゴリズムなど非確率的勾配アルゴリズムにも拡張されている。 本論文の目的は,saアルゴリズムの設計指針を提示することで,信号処理と機械学習のオーディエンスに対して,saの非統計的漸進的視点を概観し,紹介することである。 我々の中心的なテーマは、非漸近的および漸近的収束結果を含むsaの既存の理論を統一する一般的な枠組みを提案し、人気のある非確率的勾配アルゴリズムへの応用を示すことである。 我々は,様々な軽度条件を満たすリアプノフ関数のクラスに基づく解析フレームワークを構築した。 Lyapunov関数が滑らか、凸、あるいは強い凸である場合、非確率階数アルゴリズムとシナリオの間の接続を描く。 上記の枠組みを用いて、具体例を用いて非確率階調アルゴリズムの収束特性を説明する。 サンプルの複雑さを改善するための分散低減技術の拡張についても論じる。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function [3.5044892799305956]
  Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。 特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。 TUSLAアルゴリズムは最適解に急速に収束することを示す。
  論文  参考訳（メタデータ） (2021-07-19T07:13:02Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Practical Precoding via Asynchronous Stochastic Successive Convex Approximation [8.808993671472349]
  凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。 本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
  論文  参考訳（メタデータ） (2020-10-03T13:53:30Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Expectation propagation on the diluted Bayesian classifier [0.0]
  本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。 予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。 EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
  論文  参考訳（メタデータ） (2020-09-20T23:59:44Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。