論文の概要: Robust Moment-Based Estimation via Spectral Gradient Reweighting

• arxiv url: http://arxiv.org/abs/2605.27718v1
• Date: Tue, 26 May 2026 21:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.562684
• Title: Robust Moment-Based Estimation via Spectral Gradient Reweighting
• Title（参考訳）: スペクトル勾配再重み付けによるロバストモーメント推定
• Abstract要約: 本稿では,モーメントマッチング最適化における観測単位の勾配をソフトリウェイトするために,モーメントの頑健な一般化法(GMM)を提案する。 SGRプリミティブは、ほぼ軌道勾配推定を生成し、ロバストなモーメントベースラインよりもロバストなDGMM特殊化が大幅に向上する。
• 参考スコア（独自算出の注目度）: 4.66948282422762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Moment-based estimation is a theoretically attractive approach to parametric inference, especially when likelihood-based estimation is unavailable, misspecified, or computationally inconvenient. However, the moment equations involve sample averages, which makes moment-based estimation sensitive to outliers. We propose the SGR-GMM algorithm, a robust generalized method of moments (GMM) procedure that uses a spectral gradient reweighting (SGR) primitive to soft-reweight the per-observation gradients during the moment-matching optimization. Our analysis has three layers. First, for a fixed center, the SGR primitive is formulated as an entropy-regularized spectral game between a sample-weight player and a density-matrix player, which is analyzed using classical multiplicative-weights and matrix-multiplicative-weights regret bounds. Second, we establish explicit convergence radius and finite termination bound for the fixed-center updates in the SGR primitive. Third, we prove a local finite-sample parameter estimation error bound with explicit dependence on the contamination fraction, inlier gradient stability, local GMM identification strength, and optimization accuracy. We further specialize the SGR-GMM algorithm to obtain a robust diagonally-weighted GMM (DGMM) estimator for estimating heteroscedastic low-rank Gaussian mixtures observed under additive Gaussian noise and strong contamination. In the numerical experiments, the SGR primitive produces nearly-oracle gradient estimation and the robust DGMM specialization substantially improves over non-robust moment baselines. The code and data are available at https://github.com/liu-lzhang/sgr-gmm.
• Abstract（参考訳）: モーメントに基づく推定はパラメトリック推論に対する理論的に魅力的なアプローチであり、特に確率ベースの推定が不可能、不特定、計算的に不便な場合である。 しかし、モーメント方程式はサンプル平均を含むため、モーメントに基づく推定は外れ値に敏感である。 本稿では、スペクトル勾配再重み付け(SGR)プリミティブを用いて、モーメントマッチング最適化中の観測次数勾配をソフトリウェイトする、モーメントの堅牢な一般化手法であるSGR-GMMアルゴリズムを提案する。 私たちの分析には3つの層があります。 まず,SGRプリミティブを,古典的乗算重みと行列乗算重み残差を用いて解析し,サンプル重みと密度行列プレーヤとの間のエントロピー規則化されたスペクトルゲームとして定式化する。 第2に、SGRプリミティブの固定中心更新に対して、明示収束半径と有限終端境界を確立する。 第3に,汚染率,不等勾配安定性,局所GMM識別強度,最適化精度に明示的に依存する局所有限サンプルパラメータ推定誤差を証明した。 我々はさらにSGR-GMMアルゴリズムを特殊化し、加法的なガウス雑音と強い汚染の下で観測されるヘテロセダスティック低ランクガウス混合を推定するための頑健な対角重み付きGMM (DGMM) 推定器を得る。 数値実験では、SGRプリミティブは概円勾配推定を生成し、ロバストなモーメントベースラインよりもロバストなDGMM特殊化が大幅に向上する。 コードとデータはhttps://github.com/liu-lzhang/sgr-gmm.comで公開されている。

関連論文リスト

• Causal Discovery in Equal Variance Linear Gaussian DAGs via SURE-Tuned Ridge Regression [18.884190660925444]
  SURE-Ridge は等分散線型ガウス SEM に対する非定性閉形式推定器である。 これは、小サンプル状態における最小構造ハミング距離と、テストされた全てのサンプルサイズで最低実行時間を達成する。
  論文  参考訳（メタデータ） (2026-08-17T21:07:06Z)
• Accelerated Gradient Methods with Biased Gradient Estimates: Risk Sensitivity, High-Probability Guarantees, and Large Deviation Bounds [12.025550076793396]
  本研究では,収束率と強靭性への勾配のトレードオフについて,一階法の文脈で検討する。 潜在的なバイアス付き準ガウス勾配誤差の下では、リスク・センシティブ・インデックス(RSI)の有限時間アナログ上の非漸近境界を導出する。 滑らかな凸関数の場合、RSIと収束率境界との間の類似のトレードオフも観察する。
  論文  参考訳（メタデータ） (2025-09-17T01:56:31Z)
• Diagonally-Weighted Generalized Method of Moments Estimation for Gaussian Mixture Modeling [7.266474956854856]
  対角重み付きGMM(DGMM)は、統計効率、計算複雑性、数値安定性のバランスを達成する。 弱分離型ヘテロセダスティック低ランクガウス混合系のパラメータ推定問題にDGMMを適用した。 数値計算では、DGMMはMMやGMMよりもかなり短いランタイムを必要とするが、推定誤差は小さくなる。
  論文  参考訳（メタデータ） (2025-07-28T01:24:55Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization [48.65416821017865]
  この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。 低ランク物体の条件数に依存しない定数速度で直線的に収束する。 様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
  論文  参考訳（メタデータ） (2023-10-09T21:16:57Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。