論文の概要: Minimum Wasserstein Distance Estimator under Finite Location-scale Mixtures

• arxiv url: http://arxiv.org/abs/2107.01323v1
• Date: Sat, 3 Jul 2021 02:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 11:05:29.841942
• Title: Minimum Wasserstein Distance Estimator under Finite Location-scale Mixtures
• Title（参考訳）: 有限位置-スケール混合系における最小wasserstein距離推定器
• Authors: Qiong Zhang, Jiahua Chen
• Abstract要約: 最小ワッサーシュタイン距離推定器(MWDE)は、有限な位置スケール混合条件下での数値解を導出する。 本研究は,MWDEがMLEのペナルティ化バージョンに対してある程度の効率損失を被っていることを示す。 非正規な有限な位置-スケールの混合であっても、確率に基づく学習戦略の一般的な優位性を再確認する。
• 参考スコア（独自算出の注目度）: 17.662433196563473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a population exhibits heterogeneity, we often model it via a finite mixture: decompose it into several different but homogeneous subpopulations. Contemporary practice favors learning the mixtures by maximizing the likelihood for statistical efficiency and the convenient EM-algorithm for numerical computation. Yet the maximum likelihood estimate (MLE) is not well defined for the most widely used finite normal mixture in particular and for finite location-scale mixture in general. We hence investigate feasible alternatives to MLE such as minimum distance estimators. Recently, the Wasserstein distance has drawn increased attention in the machine learning community. It has intuitive geometric interpretation and is successfully employed in many new applications. Do we gain anything by learning finite location-scale mixtures via a minimum Wasserstein distance estimator (MWDE)? This paper investigates this possibility in several respects. We find that the MWDE is consistent and derive a numerical solution under finite location-scale mixtures. We study its robustness against outliers and mild model mis-specifications. Our moderate scaled simulation study shows the MWDE suffers some efficiency loss against a penalized version of MLE in general without noticeable gain in robustness. We reaffirm the general superiority of the likelihood based learning strategies even for the non-regular finite location-scale mixtures.
• Abstract（参考訳）: 集団が異質性を示すとき、それは有限混合によってモデル化され、いくつかの異なるが均質な部分集団に分解される。 現代の実践は、統計効率の確率を最大化し、数値計算に便利なEMアルゴリズムを学習することを好む。 しかし、特に最も広く使われる有限正規混合と、一般に有限な位置スケール混合では、最大度推定(mle)は明確に定義されていない。 したがって、最小距離推定器などのMLEの代替案について検討する。 近年、Wasserstein距離は機械学習コミュニティで注目を集めている。 直感的な幾何学的解釈を持ち、多くの新しい応用でうまく使われている。 最小wasserstein distance estimator (mwde) を用いて有限な位置スケールの混合物を学習することで何か得られるか? 本稿では,この可能性についていくつかの点で検討する。 MWDEは安定であり,有限位置スケール混合条件下での数値解を導出する。 外れ値と軽度のモデルミス特定に対する堅牢性について検討する。 我々の中等度スケールシミュレーション研究は、MWDEがMLEのペナル化バージョンに対してある程度の効率損失を被っていることを示している。 非正規有限な位置スケール混合においても,確率に基づく学習戦略の汎用性を再確認する。

関連論文リスト

• Learning large softmax mixtures with warm start EM [17.081578976570437]
  混合多項ロジット(mixed multinomial logits)は、数十年前に導入された、$p$の候補から属性を選択する確率をモデル化するための離散混合である。 ソフトマックス混合はニューラルネットワークの最終層において、$mathbbRL$の大量のベクトルを確率ベクトルにマッピングするために日常的に使用される。
  論文  参考訳（メタデータ） (2024-09-16T00:14:48Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Statistical Estimation Under Distribution Shift: Wasserstein Perturbations and Minimax Theory [24.540342159350015]
  我々はWasserstein分布シフトに注目し、各データポイントがわずかに摂動する可能性がある。 データポイント間の独立あるいは協調的な関節シフトである摂動について検討する。 位置推定,線形回帰,非パラメトリック密度推定など,いくつかの重要な統計問題を解析する。
  論文  参考訳（メタデータ） (2023-08-03T16:19:40Z)
• Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow [12.455057637445174]
  ガウス混合モデルを用いて非パラメトリック最大推定器(NPMLE)を計算するための新しいアルゴリズムを提案する。 この手法は、ワッサーシュタイン-フィッシャー-ラオ幾何学を備えた確率測度空間上の勾配降下に基づく。 提案アルゴリズムの有効性を確認するため,広範囲な数値実験を行った。
  論文  参考訳（メタデータ） (2023-01-04T18:59:35Z)
• Beyond EM Algorithm on Over-specified Two-Component Location-Scale Gaussian Mixtures [29.26015093627193]
  負の対数様関数の曲率を効率的に探索するために,指数位置更新法(ELU)アルゴリズムを開発した。 ELUアルゴリズムは、対数的な反復数の後、モデルの最終的な統計的半径に収束することを示した。
  論文  参考訳（メタデータ） (2022-05-23T06:49:55Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Maximum Entropy Reinforcement Learning with Mixture Policies [54.291331971813364]
  MaxEntアルゴリズムを用いて混合エントロピーのトラクタブル近似を構築する。 我々は、それが限界エントロピーの合計と密接に関連していることを示しています。 我々は, 混合ポリシーケースに対するsoft actor-critic (sac) のアルゴリズム的変種を導出し, 一連の連続制御タスクで評価する。
  論文  参考訳（メタデータ） (2021-03-18T11:23:39Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Self-regularizing Property of Nonparametric Maximum Likelihood Estimator in Mixture Models [39.27013036481509]
  一般ガウス混合に対する非パラメトリック最大度(NPMLE)モデルを導入する。 サンプルサイズに基づくNPMLEは高い確率で$O(log n)$原子(質量点)を持つことを示す。 特に、任意の混合は、$Olog選択を持つ有限の混合から統計的に入っている。
  論文  参考訳（メタデータ） (2020-08-19T03:39:13Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。