論文の概要: A non-asymptotic penalization criterion for model selection in mixture of experts models

• arxiv url: http://arxiv.org/abs/2104.02640v1
• Date: Tue, 6 Apr 2021 16:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:25:38.439649
• Title: A non-asymptotic penalization criterion for model selection in mixture of experts models
• Title（参考訳）: 専門家モデル混合モデルにおけるモデル選択のための非漸近的ペナリゼーション基準
• Authors: TrungTin Nguyen, Hien Duy Nguyen, Faicel Chamroukhi and Florence Forbes
• Abstract要約: ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。 このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。 本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
• 参考スコア（独自算出の注目度）: 1.491109220586182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of experts (MoE) is a popular class of models in statistics and machine learning that has sustained attention over the years, due to its flexibility and effectiveness. We consider the Gaussian-gated localized MoE (GLoME) regression model for modeling heterogeneous data. This model poses challenging questions with respect to the statistical estimation and model selection problems, including feature selection, both from the computational and theoretical points of view. We study the problem of estimating the number of components of the GLoME model, in a penalized maximum likelihood estimation framework. We provide a lower bound on the penalty that ensures a weak oracle inequality is satisfied by our estimator. To support our theoretical result, we perform numerical experiments on simulated and real data, which illustrate the performance of our finite-sample oracle inequality.
• Abstract（参考訳）: 専門家の混合(MoE)は統計学と機械学習における一般的なモデルのクラスであり、その柔軟性と有効性から長年にわたって注目を集めてきた。 ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。 このモデルは、統計的推定とモデル選択の問題に関して、計算的および理論的視点からの特徴選択を含む挑戦的な疑問を提起する。 本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。 我々は,弱オラクルの不平等が評価者によって満足されることを保証するような罰則を低くする。 理論的結果を支援するため,シミュレーションおよび実データを用いて数値実験を行い,有限サンプルオラクル不等式の性能を示す。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• fairml: A Statistician's Take on Fair Machine Learning Modelling [0.0]
  本稿では,これまでの研究(Scutari, Panero, Proissl 2022)および関連モデルを文献で実装したfairmlパッケージについて述べる。 Fairmlは古典的な統計モデルと ペナル化された回帰結果に基づいて設計されています フェアネスを強制するために使われる制約は、推定をモデル化することであり、望まれるモデルファミリと各アプリケーションに対するフェアネス定義の混合とマッチングを可能にする。
  論文  参考訳（メタデータ） (2023-05-03T09:59:53Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。