論文の概要: An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models
- arxiv url: http://arxiv.org/abs/2009.10622v4
- Date: Mon, 19 Sep 2022 12:46:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 21:32:19.324630
- Title: An $l_1$-oracle inequality for the Lasso in high-dimensional mixtures of
experts models
- Title（参考訳）: エキスパートモデルの高次元混合におけるLassoに対する$l_1$-oracleの不等式
- Authors: TrungTin Nguyen, Hien D Nguyen, Faicel Chamroukhi and Geoffrey J
McLachlan
- Abstract要約: ソフトマックスゲーティング関数を持つ有限MoEモデルとガウスの専門家による異種データの高次元回帰について検討する。
特徴選択特性よりもラッソ推定特性に着目した。
- 参考スコア（独自算出の注目度）: 2.494740426749958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixtures of experts (MoE) models are a popular framework for modeling
heterogeneity in data, for both regression and classification problems in
statistics and machine learning, due to their flexibility and the abundance of
available statistical estimation and model choice tools. Such flexibility comes
from allowing the mixture weights (or gating functions) in the MoE model to
depend on the explanatory variables, along with the experts (or component
densities). This permits the modeling of data arising from more complex data
generating processes when compared to the classical finite mixtures and finite
mixtures of regression models, whose mixing parameters are independent of the
covariates. The use of MoE models in a high-dimensional setting, when the
number of explanatory variables can be much larger than the sample size, is
challenging from a computational point of view, and in particular from a
theoretical point of view, where the literature is still lacking results for
dealing with the curse of dimensionality, for both the statistical estimation
and feature selection problems. We consider the finite MoE model with soft-max
gating functions and Gaussian experts for high-dimensional regression on
heterogeneous data, and its $l_1$-regularized estimation via the Lasso. We
focus on the Lasso estimation properties rather than its feature selection
properties. We provide a lower bound on the regularization parameter of the
Lasso function that ensures an $l_1$-oracle inequality satisfied by the Lasso
estimator according to the Kullback--Leibler loss.
- Abstract（参考訳）: moeモデル(mixeds of experts)は、柔軟性と利用可能な統計推定とモデル選択ツールの豊富さのため、統計と機械学習における回帰問題と分類問題の両方において、データの不均一性をモデリングするための一般的なフレームワークである。
このような柔軟性は、MoEモデルの混合重み(またはゲーティング関数)が専門家(またはコンポーネント密度)とともに説明変数に依存することを許容することに由来する。
これにより、より複雑なデータ生成プロセスから生じるデータのモデリングを、古典的有限混合と、混合パラメータが共変量とは独立な回帰モデルの有限混合と比較することができる。
高次元設定におけるmoeモデルの使用は、説明変数の数がサンプルサイズよりはるかに大きい場合、計算の観点からは困難であり、特に理論的な観点からは、統計的な推定と特徴選択問題の両方において、次元の呪いを扱うための結果が未だに不足している。
我々は,ソフトマックスゲーティング関数を持つ有限moeモデルと,異種データに対する高次元回帰に関するガウス専門家,およびlassoによる$l_1$-正規化推定について考察する。
我々は,特徴選択特性よりもラッソ推定特性に注目した。
我々は、lasso関数の正規化パラメータの下限を提供し、kullback-leibler損失に応じてlasso推定者が満足する$l_1$-oracle不等式を保証する。
関連論文リスト
- Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。
我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。
理論的結果を数値実験と既存文献との比較で補完する。
論文 参考訳（メタデータ） (2024-08-12T12:43:30Z) - Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts [78.3687645289918]
我々は,シグモイドゲーティング関数が,専門家推定の統計的タスクにおいて,ソフトマックスゲーティングよりも高いサンプル効率を享受できることを示した。
ReLU や GELU のようなよく使われる活性化型フィードフォワードネットワークとして定式化された専門家は,シグモイドゲーティングの下でより速い収束率を享受できる。
論文 参考訳（メタデータ） (2024-05-22T21:12:34Z) - Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳（メタデータ） (2024-02-05T12:31:18Z) - Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts? [27.924615931679757]
本研究は,MoEの下での最大推定値に対する専門家(MoE)の密度-スパース混合の影響について検討する。
本稿では,線形層の出力を活性化関数にルーティングし,ソフトマックス関数に伝達する新しいアクティベーション・トゥ・スパースゲートを提案する。
論文 参考訳（メタデータ） (2024-01-25T01:09:09Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts [28.13187489224953]
本稿では,入力をゲーティング関数に渡す前に変換する改良型ソフトマックスゲーティング関数を提案する。
その結果, 従来の相互作用は消失し, パラメータ推定率が大幅に向上した。
論文 参考訳（メタデータ） (2023-10-22T05:32:19Z) - Algebraic and Statistical Properties of the Ordinary Least Squares Interpolator [3.4320157633663064]
我々は最小$ell$-norm OLS補間器について結果を提供する。
ガウス・マルコフの定理の拡張のような統計的結果を示す。
我々はOLS補間器の特性をさらに探求するシミュレーションを行う。
論文 参考訳（メタデータ） (2023-09-27T16:41:10Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - A non-asymptotic penalization criterion for model selection in mixture
of experts models [1.491109220586182]
ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。
このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。
本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
論文 参考訳（メタデータ） (2021-04-06T16:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。