論文の概要: Convergence of Stochastic Approximation via Martingale and Converse Lyapunov Methods

• arxiv url: http://arxiv.org/abs/2205.01303v1
• Date: Tue, 3 May 2022 04:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 22:31:25.968622
• Title: Convergence of Stochastic Approximation via Martingale and Converse Lyapunov Methods
• Title（参考訳）: Martingale と Converse Lyapunov 法による確率近似の収束
• Authors: M. Vidyasagar
• Abstract要約: 我々は、近似アルゴリズムの収束を証明するための非常に一般的なフレームワークを開発するために、Gladyshev (1965) で最初に提案されたアイデアに基づいて構築する。 これらのアイデアはマーチンゲール法に基づいており、ODE法に基づく収束証明よりもいくつかの点で単純である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is dedicated to Prof. Eduardo Sontag on the occasion of his seventieth birthday. In this paper, we build upon the ideas first proposed in Gladyshev (1965) to develop a very general framework for proving the almost sure boundedness and the convergence of stochastic approximation algorithms. These ideas are based on martingale methods and are in some ways simpler than convergence proofs based on the ODE method, e.g., Borkar-Meyn (2000). First we study the original version of the SA algorithm introduced in Robbins-Monro (1951), where the objective is to determine a zero of a function, when only noisy measurements of the function are available. The proof makes use of the general framework developed here, together with a new theorem on converse Lyapunov stability, which might be of independent interest. Next we study an alternate version of SA, first introduced in Kiefer-Wolfowitz (1952). The objective here is to find a stationary point of a scalar-valued function, using first-order differences to approximate its gradient. This problem is analyzed in Blum (1954), but with a very opaque proof. We reproduce Blum's conclusions using the proposed framework.
• Abstract（参考訳）: この論文はエドゥアルド・ソンタグ教授の70歳の誕生日に捧げられている。 本稿では、Gladyshev (1965) で最初に提案されたアイデアに基づいて、ほぼ確実な有界性と確率近似アルゴリズムの収束性を証明するための非常に一般的な枠組みを構築する。 これらのアイデアはマーチンゲール法に基づいており、例えば Borkar-Meyn (2000) など ODE 法に基づく収束証明よりも単純である。 まず、ロビンス・モンロ(1951)で導入されたSAアルゴリズムの原版について検討し、関数の雑音測定しかできないとき、関数の零点を決定することが目的である。 この証明は、ここで開発された一般の枠組みを利用し、逆リアプノフ安定性に関する新しい定理は独立に興味を持つかもしれない。 次に、Kiefer-Wolfowitz (1952) で最初に導入された SA の代替版について研究する。 ここでの目標は、一階差を使って勾配を近似してスカラー値関数の定常点を見つけることである。 この問題は Blum (1954) で解析されるが、非常に不透明な証明である。 提案手法を用いてBlumの結論を再現する。

関連論文リスト

• A Survey of Low-shot Vision-Language Model Adaptation via Representer Theorem [38.84662767814454]
  限られた訓練データの条件下で対処する主な課題は、パラメータ効率のよい方法で事前訓練された視覚言語モデルを微調整する方法である。 本稿では,既存の手法を統合化し,それらの性質を同定し,詳細な比較を支援するための統一的な計算フレームワークを提案する。 実演として、カーネルヒルベルト空間(RKHS)における表現子間のクラス間相関をモデル化し、既存の手法を拡張した。
  論文  参考訳（メタデータ） (2024-10-15T15:22:30Z)
• Uncertainty Quantification with Bayesian Higher Order ReLU KANs [0.0]
  本稿では,コルモゴロフ・アルノルドネットワークの領域における不確実性定量化手法について紹介する。 簡単な一次元関数を含む一連の閉包試験により,本手法の有効性を検証した。 本稿では,ある項を包含することで導入された機能的依存関係を正しく識別する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-10-02T15:57:18Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Proving Theorems Recursively [80.42431358105482]
  本稿では、定理をレベル・バイ・レベルで証明するPOETRYを提案する。 従来のステップバイステップメソッドとは異なり、POETRYは各レベルで証明のスケッチを検索する。 また,POETRYが検出した最大証明長は10～26。
  論文  参考訳（メタデータ） (2024-05-23T10:35:08Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• Formalization of a Stochastic Approximation Theorem [0.22940141855172028]
  近似アルゴリズムは、ターゲットが不明な環境でターゲット値を近似するために使用される反復的な手順である。 もともとは1951年にRobinsとMonroによって発表された論文で、近似の分野は飛躍的に成長し、応用領域に影響を与えている。
  論文  参考訳（メタデータ） (2022-02-12T02:31:14Z)
• Manifold Hypothesis in Data Analysis: Double Geometrically-Probabilistic Approach to Manifold Dimension Estimation [92.81218653234669]
  本稿では, 多様体仮説の検証と基礎となる多様体次元推定に対する新しいアプローチを提案する。 我々の幾何学的手法はミンコフスキー次元計算のためのよく知られたボックスカウントアルゴリズムのスパースデータの修正である。 実データセットの実験では、2つの手法の組み合わせに基づく提案されたアプローチが強力で効果的であることが示されている。
  論文  参考訳（メタデータ） (2021-07-08T15:35:54Z)
• Proof of the Contiguity Conjecture and Lognormal Limit for the Symmetric Perceptron [21.356438315715888]
  我々は、ニューラルネットワークの単純なモデルである対称バイナリパーセプトロンモデルを検討する。 このモデルのためのいくつかの予想を確立する。 この証明手法は,小さなグラフ条件付け手法の密な反部分に依存する。
  論文  参考訳（メタデータ） (2021-02-25T18:39:08Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。