論文の概要: Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
- arxiv url: http://arxiv.org/abs/2511.03087v1
- Date: Wed, 05 Nov 2025 00:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-06 18:19:32.277584
- Title: Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
- Title（参考訳）: 最大超越:一般化線形モデルにおける変分不等式推定
- Authors: Linglingzhi Zhu, Jonghyeok Lee, Yao Xie,
- Abstract要約: 一般化線形モデル(GLMs)は統計モデリングの基本的なツールであり、推定の古典的な方法として最大推定(MLE)を用いる。
MLEは標準GLMではよく機能するが、真のパラメータ値に近い計算速度が向上する。
非線形最小二乗問題の解法として、ユディツキーとネミロフスキーによって提案された非滑らかな変分収束に基づく代替推定器について検討する。
- 参考スコア（独自算出の注目度）: 13.678696807308967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized linear models (GLMs) are fundamental tools for statistical modeling, with maximum likelihood estimation (MLE) serving as the classical method for parameter inference. While MLE performs well in canonical GLMs, it can become computationally inefficient near the true parameter value. In more general settings with non-canonical or fully general link functions, the resulting optimization landscape is often non-convex, non-smooth, and numerically unstable. To address these challenges, we investigate an alternative estimator based on solving the variational inequality (VI) formulation of the GLM likelihood equations, originally proposed by Juditsky and Nemirovski as an alternative for solving nonlinear least-squares problems. Unlike their focus on algorithmic convergence in monotone settings, we analyze the VI approach from a statistical perspective, comparing it systematically with the MLE. We also extend the theory of VI estimators to a broader class of link functions, including non-monotone cases satisfying a strong Minty condition, and show that it admits weaker smoothness requirements than MLE, enabling faster, more stable, and less locally trapped optimization. Theoretically, we establish both non-asymptotic estimation error bounds and asymptotic normality for the VI estimator, and further provide convergence guarantees for fixed-point and stochastic approximation algorithms. Numerical experiments show that the VI framework preserves the statistical efficiency of MLE while substantially extending its applicability to more challenging GLM settings.
- Abstract（参考訳）: 一般化線形モデル(GLMs)は統計モデリングの基本的なツールであり、パラメータ推定の古典的手法として最大推定(MLE)が用いられる。
MLEは標準GLMではよく機能するが、真のパラメータ値の近くで計算的に非効率になる。
より一般的な設定では、非正準あるいは完全一般リンク関数では、結果の最適化のランドスケープは、しばしば非凸、非滑らか、数値的に不安定である。
これらの課題に対処するために、非線形最小二乗問題の解法としてJuditsky と Nemirovski によって提案された GLM 方程式の変分不等式 (VI) の定式化に基づく代替推定器について検討する。
モノトーン設定におけるアルゴリズム収束に焦点を当てているのとは違い、統計的観点からVIアプローチを解析し、MLEと体系的に比較する。
また、VI推定器の理論を、強いミンティ条件を満たす非単調ケースを含むより広範なリンク関数のクラスに拡張し、MLEよりも滑らかさの要求が弱く、より速く、より安定で、より局所的に閉じ込められた最適化を可能にすることを示す。
理論的には、VI推定器の非漸近推定誤差境界と漸近正規性の両方を確立し、さらに定点近似アルゴリズムと確率近似アルゴリズムの収束保証を提供する。
数値実験により、VI フレームワークは MLE の統計的効率を保ちつつ、その適用性をより困難な GLM 設定まで大幅に拡張することを示した。
関連論文リスト
- Asymptotics of Non-Convex Generalized Linear Models in High-Dimensions: A proof of the replica formula [17.036996839737828]
非次元ガウス正規化モデルの最適性を証明するために,アルゴリズムをどのように利用できるかを示す。
また, 負の正則化モデルの最適性を証明するために, テューキー損失を用いる方法を示す。
論文 参考訳（メタデータ） (2025-02-27T11:29:43Z) - Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。
オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。
このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文 参考訳（メタデータ） (2024-11-04T16:12:37Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Partially factorized variational inference for high-dimensional mixed models [0.0]
変分推論は、特にベイズ的文脈において、そのような計算を行う一般的な方法である。
標準平均場変動推論は,高次元の後方不確かさを劇的に過小評価することを示した。
次に、平均場仮定を適切に緩和すると、不確実な定量化が高次元で悪化しない手法が導かれることを示す。
論文 参考訳（メタデータ） (2023-12-20T16:12:37Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
テンソルの合同ベンチマークとクラスタリングの問題を考察する。
本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - The computational asymptotics of Gaussian variational inference and the
Laplace approximation [19.366538729532856]
ガウス族との変分推論の凸性について理論的に解析する。
CSVIとCSVの両方の大規模実データにより、各最適化問題のグローバルな最適解が得られる可能性が向上することを示す。
論文 参考訳（メタデータ） (2021-04-13T01:23:34Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳（メタデータ） (2020-10-25T05:15:13Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。