論文の概要: Second-Moment Stochastic Approximation Methods

• arxiv url: http://arxiv.org/abs/2609.36600v1
• Date: Tue, 29 Sep 2026 03:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.146051
• Title: Second-Moment Stochastic Approximation Methods
• Title（参考訳）: 第二モーメント確率近似法
• Abstract要約: 本研究では,第1と第2の変分モーメントを推定する手法について検討する。 収束解析のための2段階のフレームワークを開発する。 近傍の大きさは、第1および第2モーメント推定器のバイアスと分散に依存する。
• 参考スコア（独自算出の注目度）: 8.120183993155605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical stochastic approximation methods rely on estimators of the first moment (mean) of a random regression function. We study methods that employ estimators of both the first and the second moments, which include modern deep-learning optimizers such as Adam and Muon as special cases. We derive second-moment stochastic approximation methods through the lens of optimal preconditioning for solving matrix equations, and develop a two-stage framework for their convergence analysis. The first stage focuses on the analysis of conceptual (impractical) methods that rely on the exact first and second moments. In the second stage, we replace the exact moments with their respective estimators, and invoke Dvoretzky's theorem to show that the resulting practical methods converge almost surely to a neighborhood of the target solution. The size of the neighborhood depends on the biases and variances of the first- and second-moment estimators. We derive concrete bounds for Muon and a spectral variant of Adam that determine the radius of their neighborhood of convergence.
• Abstract（参考訳）: 古典確率近似法は、ランダム回帰関数の第1モーメント(平均)の推定器に依存する。 本稿では,Adam や Muon などの近代的な深層学習オプティマイザを特別事例として含む,第1モーメントと第2モーメントの両方を推定する手法について検討する。 行列方程式を解くための最適プレコンディショニングのレンズを通して第二モーメント確率近似法を導出し、収束解析のための2段階のフレームワークを開発する。 第1段階は、正確な第1モーメントと第2モーメントに依存する概念的(実践的)手法の分析に焦点を当てている。 第二段階では、正確なモーメントをそれぞれの推定器に置き換え、ドヴォルツキーの定理を呼び出して、結果の実用的な方法がターゲット解の近傍にほぼ確実に収束することを示す。 近傍の大きさは、第1および第2モーメント推定器のバイアスと分散に依存する。 我々は、ムオンの具体的な境界と、それらの収束の近傍の半径を決定するアダムのスペクトル変種を導出する。

関連論文リスト

• Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
  我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。 我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T09:36:13Z)
• Mixtures Closest to a Given Measure: A Semidefinite Programming Approach [1.7969777786551424]
  対象測度を有限個のモーメントでしか利用できない問題について検討する。 既存の多くのアプローチとは異なり、パラメータ集合は有限ではないと仮定される。 クラスタリングには,スタンドアローンのメソッドとして,あるいは前処理のステップとして,フレームワークが機能するアプリケーションを提案する。
  論文  参考訳（メタデータ） (2025-09-26T19:51:21Z)
• Stochastic Approximation with Block Coordinate Optimal Stepsizes [14.005141628783457]
  本稿では,次の座標から最適点への期待距離を最小化することを目的とした適応段階化ルールを提案する。 これらのステップ化ルールは、各ブロック座標に沿って探索方向の第2モーメントのオンライン推定を用いる。 この手法の族は最適点の小さな近傍にほぼ確実に収束することを示す。
  論文  参考訳（メタデータ） (2025-07-11T18:47:28Z)
• In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
  償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T10:00:24Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)
• Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance [1.52292571922932]
  非線形2時間スケール近似の収束と有限時間解析について検討する。 特に,本手法は期待値の収束を$mathcalO (1/k2/3)$で達成し,$k$は反復数であることを示す。
  論文  参考訳（メタデータ） (2020-11-03T17:43:39Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Extrapolation-based Prediction-Correction Methods for Time-varying Convex Optimization [5.768816587293478]
  本稿では,予測補正パラダイムに基づくオンライン最適化のアルゴリズムについて論じる。 本稿では,外挿に基づく新しい予測手法を提案する。 本稿では,信号処理や機械学習,ロボット工学といった問題に適用したアルゴリズムの経験的性能について論じる。
  論文  参考訳（メタデータ） (2020-04-24T12:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。