論文の概要: Estimating Mixture Distributions via Stochastic Mirror Descent
- arxiv url: http://arxiv.org/abs/2605.24929v1
- Date: Sun, 24 May 2026 08:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.516457
- Title: Estimating Mixture Distributions via Stochastic Mirror Descent
- Title（参考訳）: 確率鏡による混合分布の推定
- Authors: Mohammadreza Ahmadypour, Tara Javidi, Farinaz Koushanfar,
- Abstract要約: 本研究では, クロスエントロピー損失を最小化する混合モデルを用いて, サンプルから未知分布を推定する問題を再検討する。
ミラー降下(SMD)アルゴリズムから導出した推定器群を提案する。
軽度条件下では,提案した推定器がほぼ最適収束率を達成することを示す。
- 参考スコア（独自算出の注目度）: 15.58350224981605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We revisit the classical problem of estimating an unknown distribution from its samples by fitting a mixture model that minimizes cross-entropy loss. Framing the task as a stochastic convex optimization problem over the space of $ M $-component mixture distributions, we propose a family of estimators derived from the stochastic mirror descent (SMD) algorithm. This optimization-based approach provides a principled and flexible framework that generalizes traditional estimators and proposes a variety of novel estimators through the choice of Bregman divergences. A key advantage of our method is that it scales efficiently with the number of candidate components $ f_i $; that is, one can employ a large set of basis distributions in the mixture model without incurring significant computational overhead. This enables richer approximations and improved estimation accuracy. Moreover, in the case of categorical distribution (discrete outcomes) our estimators do not require a strict lower bound, in other words our framework does not require the precise knowledge of the support of the distribution. We demonstrate that, under mild conditions, the proposed $ \varphi $-SMD estimators achieve near-optimal convergence rates in both Kullback-Leibler (KL) divergence and $ \ell_2 $-norm and offer practical benefits when computation is expensive. Our numerical analysis highlights improved performance guaranties over classical estimators, particularly in terms of sample efficiency and scalability.
- Abstract（参考訳）: クロスエントロピー損失を最小限に抑える混合モデルを用いて,サンプルから未知の分布を推定する古典的問題を再検討する。
M$成分混合分布の空間上での確率凸最適化問題としてタスクを分割し、確率ミラー降下(SMD)アルゴリズムから導出した推定器群を提案する。
この最適化に基づくアプローチは、伝統的な推定器を一般化する原則的で柔軟なフレームワークを提供し、ブレグマン微分器の選択を通じて様々な新しい推定器を提案する。
提案手法の主な利点は,候補成分数$f_i$で効率よくスケールできる点である。
これにより、よりリッチな近似が可能となり、推定精度が向上する。
さらに、分類的分布(離散結果)の場合、推定器は厳密な下限を必要とせず、言い換えれば、我々のフレームワークは分布の支持に関する正確な知識を必要としない。
軽度条件下では、提案した$ \varphi $-SMD推定器は、KL(Kulback-Leibler)の発散と$ \ell_2 $-normの両方において、ほぼ最適収束率を実現し、計算が高価である場合に実用的な利点を提供することを示した。
数値解析では,古典的推定器に対する性能保証,特にサンプル効率とスケーラビリティの点で改善された性能保証を強調した。
関連論文リスト
- Robust Variational Bayes by Min-Max Median Aggregation [13.102667562202386]
本稿では,データセットの汚染と流出率を処理するための頑健なベイズフレームワークを提案する。
提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。
以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。
論文 参考訳（メタデータ） (2025-12-14T13:02:00Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Learning Parametric Distributions from Samples and Preferences [19.879505582147807]
選好に基づくM推定器は、サンプルのみのM推定器よりも分散性が高いことを示す。
我々は,$mathcalO (1/n)$ -- $Theta (1/sqrtn)$よりも大幅に改善された$mathcalO (1/n)$ -- の推定誤差スケーリングを実現する推定器を提案する。
論文 参考訳（メタデータ） (2025-05-29T15:33:43Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Optimal Algorithms for Stochastic Multi-Armed Bandits with Heavy Tailed
Rewards [24.983866845065926]
我々は、重い尾の報酬を持つマルチアームのバンディットを考えており、そのp$-thのモーメントは、定数$nu_p$が1pleq2$である。
本稿では,従来の情報として$nu_p$を必要としない新しいロバストな推定器を提案する。
提案した推定器の誤差確率は指数関数的に高速に減衰することを示す。
論文 参考訳（メタデータ） (2020-10-24T10:44:02Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。