論文の概要: An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models
- arxiv url: http://arxiv.org/abs/2009.10622v4
- Date: Mon, 19 Sep 2022 12:46:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 21:32:19.324630
- Title: An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models
- Title(参考訳): エキスパートモデルの高次元混合におけるLassoに対する$l_1$-oracleの不等式
- Authors: TrungTin Nguyen, Hien D Nguyen, Faicel Chamroukhi and Geoffrey J
McLachlan
- Abstract要約: ソフトマックスゲーティング関数を持つ有限MoEモデルとガウスの専門家による異種データの高次元回帰について検討する。
特徴選択特性よりもラッソ推定特性に着目した。
- 参考スコア(独自算出の注目度): 2.494740426749958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixtures of experts (MoE) models are a popular framework for modeling
heterogeneity in data, for both regression and classification problems in
statistics and machine learning, due to their flexibility and the abundance of
available statistical estimation and model choice tools. Such flexibility comes
from allowing the mixture weights (or gating functions) in the MoE model to
depend on the explanatory variables, along with the experts (or component
densities). This permits the modeling of data arising from more complex data
generating processes when compared to the classical finite mixtures and finite
mixtures of regression models, whose mixing parameters are independent of the
covariates. The use of MoE models in a high-dimensional setting, when the
number of explanatory variables can be much larger than the sample size, is
challenging from a computational point of view, and in particular from a
theoretical point of view, where the literature is still lacking results for
dealing with the curse of dimensionality, for both the statistical estimation
and feature selection problems. We consider the finite MoE model with soft-max
gating functions and Gaussian experts for high-dimensional regression on
heterogeneous data, and its $l_1$-regularized estimation via the Lasso. We
focus on the Lasso estimation properties rather than its feature selection
properties. We provide a lower bound on the regularization parameter of the
Lasso function that ensures an $l_1$-oracle inequality satisfied by the Lasso
estimator according to the Kullback--Leibler loss.
- Abstract(参考訳): moeモデル(mixeds of experts)は、柔軟性と利用可能な統計推定とモデル選択ツールの豊富さのため、統計と機械学習における回帰問題と分類問題の両方において、データの不均一性をモデリングするための一般的なフレームワークである。
このような柔軟性は、MoEモデルの混合重み(またはゲーティング関数)が専門家(またはコンポーネント密度)とともに説明変数に依存することを許容することに由来する。
これにより、より複雑なデータ生成プロセスから生じるデータのモデリングを、古典的有限混合と、混合パラメータが共変量とは独立な回帰モデルの有限混合と比較することができる。
高次元設定におけるmoeモデルの使用は、説明変数の数がサンプルサイズよりはるかに大きい場合、計算の観点からは困難であり、特に理論的な観点からは、統計的な推定と特徴選択問題の両方において、次元の呪いを扱うための結果が未だに不足している。
我々は,ソフトマックスゲーティング関数を持つ有限moeモデルと,異種データに対する高次元回帰に関するガウス専門家,およびlassoによる$l_1$-正規化推定について考察する。
我々は,特徴選択特性よりもラッソ推定特性に注目した。
我々は、lasso関数の正規化パラメータの下限を提供し、kullback-leibler損失に応じてlasso推定者が満足する$l_1$-oracle不等式を保証する。
関連論文リスト
- On Least Squares Estimation in Softmax Gating Mixture of Experts [85.61224527426624]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳(メタデータ) (2024-02-05T12:31:18Z) - Conditional Korhunen-Lo\'{e}ve regression model with Basis Adaptation
for high-dimensional problems: uncertainty quantification and inverse
modeling [62.997667081978825]
本稿では,物理系の観測可能な応答のサロゲートモデルの精度を向上させる手法を提案する。
本研究では,定常水理応答のBasis Adaptation (BA)法による代理モデル構築に提案手法を適用した。
論文 参考訳(メタデータ) (2023-07-05T18:14:38Z) - A Bayesian Framework on Asymmetric Mixture of Factor Analyser [0.0]
本稿では、スキュー正規(無制限)一般化双曲型(SUNGH)分布のリッチで柔軟なクラスを持つMFAモデルを提案する。
SUNGHファミリーは、様々な方向の歪みをモデル化する柔軟性と、重み付きデータを可能にする。
因子分析モデルを考慮すると、SUNGHファミリーは誤差成分と因子スコアの両方の歪みと重みを許容する。
論文 参考訳(メタデータ) (2022-11-01T20:19:52Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Functional Mixtures-of-Experts [0.24578723416255746]
観測対象が関数を含む状況下での予測のための異種データの統計的解析について検討する。
まず,機能的ME(FME)と呼ばれる新しいMEモデルのファミリーを提示する。
我々は,モデルに適合する最大パラメータ推定戦略を定式化したLasso-like (EM-Lasso) の専用予測-最大化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-02-04T17:32:28Z) - A non-asymptotic model selection in block-diagonal mixture of polynomial
experts models [1.491109220586182]
回帰モデルの未知条件密度を推定するために, ペナル化最大選択基準を導入する。
我々は、Jensen-Kullback-Leibler型損失によるペナル化極大確率で満たされる有限サンプルオラクルを含む強力な理論的保証を提供する。
論文 参考訳(メタデータ) (2021-04-18T21:32:20Z) - A non-asymptotic penalization criterion for model selection in mixture
of experts models [1.491109220586182]
ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。
このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。
本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
論文 参考訳(メタデータ) (2021-04-06T16:24:55Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。