論文の概要: Unified High-Probability Analysis of Stochastic Variance-Reduced Estimation

• arxiv url: http://arxiv.org/abs/2605.15388v1
• Date: Thu, 14 May 2026 20:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.089163
• Title: Unified High-Probability Analysis of Stochastic Variance-Reduced Estimation
• Title（参考訳）: 確率変数誘導推定の統一的高確率解析
• Authors: Zhankun Luo, Antesh Upadhyay, M. Berk Sahin, Sang Bin Moon, Anuran Makur, Abolfazl Hashemi,
• Abstract要約: 本稿では,メモリ保持,リセット確率,反復運動の補正項という3つの要素からなる再帰に基づく分散推定のための統一的フレームワークを開発する。 我々の主な結果は、ベクトルマーチンガレットのランダム和を含む滑らかなノルム空間に対して有効である新しい次元自由ベクトル値フリードマンを用いて証明された統一された高確率境界である。 応用として、ミラー降下による非拘束最適化のための高確率オラクル複素数を求め、信頼度に対数的依存を確立する。
• 参考スコア（独自算出の注目度）: 15.37118525209153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic estimators are fundamental to large-scale optimization, where population quantities must be inferred from noisy oracle observations. Although influential methods such as momentum, SPIDER, STORM, and PAGE have been highly successful, their analyses are largely estimator-specific and expectation-based, obscuring the structural tradeoffs that determine reliability. In this paper, we develop a unified framework for stochastic variance-reduced estimation based on a recursion with three components: memory retention, reset probability, and a correction term for iterate movement. This framework recovers several classical estimators, motivates new second-order variants, and yields a bias-variance decomposition of estimation error. Our main result is a unified high-probability bound proved using a new dimension-free vector-valued Freedman inequality, valid for smooth normed spaces involving random sums of vector martingales. The result applies in both Euclidean and non-Euclidean settings, including the analysis of mirror-descent-based methods in Banach spaces. As applications, we obtain high-probability oracle complexities for unconstrained optimization with mirror descent, establishing the logarithmic dependence on the confidence level. We also derive the first $\tilde{\mathcal{O}}(\varepsilon^{-3})$ oracle-complexity bounds for stochastic optimization with expectation constraints, improving upon the existing $\tilde{\mathcal{O}}(\varepsilon^{-4})$ complexity by leveraging variance-reduced estimation for the first time in this setting.
• Abstract（参考訳）: 確率推定器は大規模最適化の基本であり、ノイズの多いオラクル観測から人口を推定しなければならない。 モーメント、SPIDER、STORM、PAGEなどの影響力のある手法は成功しているが、その分析は概ね推定器固有の予測に基づくものであり、信頼性を決定する構造的トレードオフを無視している。 本稿では,記憶保持,リセット確率,反復運動の補正項という3つの要素からなる再帰に基づく確率的分散推定のための統一的フレームワークを開発する。 このフレームワークは、いくつかの古典的推定器を復元し、新しい2階変種を動機付け、推定誤差のバイアス分散分解をもたらす。 我々の主な結果は、ベクトルのランダムな和を含む滑らかなノルム空間に対して有効である新しい次元自由ベクトル値フリードマン不等式を用いて証明された統一された高確率境界である。 その結果はユークリッドと非ユークリッドの両方の設定に適用され、バナッハ空間におけるミラー・ディフレッシュ法の解析を含む。 応用として、ミラー降下による非拘束最適化のための高確率オラクル複素数を求め、信頼度に対数的依存を確立する。 また、予測制約付き確率的最適化のための最初の$\tilde{\mathcal{O}}(\varepsilon^{-3})$ oracle-complexity boundsを導出し、この設定において分散還元推定を初めて活用することにより、既存の$\tilde{\mathcal{O}}(\varepsilon^{-4})$複雑さを改善した。

関連論文リスト

• Lyapunov Stability of Stochastic Vector Optimization: Theory and Numerical Implementation [0.0]
  我々は、ドリフトが共通の降下方向によって誘導される非拘束ベクトル最適化にドリフト拡散モデルを用いる。 提案アルゴリズムは,マルチオブジェクト最適化のためのオープンソースのPythonフレームワークとして実装されている。 目的数3から15のDTLZ2の実証結果は、一貫したトレードオフを示している。
  論文  参考訳（メタデータ） (2026-03-04T14:04:24Z)
• Bregman geometry-aware split Gibbs sampling for Bayesian Poisson inverse problems [8.115032818930457]
  モンテカルロサンプリングアルゴリズムを用いて,逆問題の解法を提案する。 本手法は, 復元品質の点で競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-15T15:27:31Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。