論文の概要: Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps

• arxiv url: http://arxiv.org/abs/2510.12744v1
• Date: Tue, 14 Oct 2025 17:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.417202
• Title: Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps
• Title（参考訳）: ソフトマックスゲージ付きガウス混合の混合対策のデンドログラム:モデルスイープなしでの整合性
• Authors: Do Tien Hai, Trung Nguyen Mai, TrungTin Nguyen, Nhat Ho, Binh T. Nguyen, Christopher Drovandi,
• Abstract要約: ゲーティングパラメータの共通翻訳、固有のゲート-エキスパート相互作用、およびタイトな数値-デノミネータ結合までの不特定性に対処する。 モデル選択には, 最適なパラメータ率を得る専門家の数を一貫したスイープフリーセレクタとして, デンドログラム誘導SGMoEを適応させる。 干ばつを識別できるトウモロコシの形質のデータセット上で、私たちのデンドログラム誘導SGMoEは2人の専門家を選別し、明確な混合階層を公開し、確率を早期に安定化し、解釈可能な遺伝子型フェノタイプマップを生成する。
• 参考スコア（独自算出の注目度）: 41.371172458797524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a unified statistical framework for softmax-gated Gaussian mixture of experts (SGMoE) that addresses three long-standing obstacles in parameter estimation and model selection: (i) non-identifiability of gating parameters up to common translations, (ii) intrinsic gate-expert interactions that induce coupled differential relations in the likelihood, and (iii) the tight numerator-denominator coupling in the softmax-induced conditional density. Our approach introduces Voronoi-type loss functions aligned with the gate-partition geometry and establishes finite-sample convergence rates for the maximum likelihood estimator (MLE). In over-specified models, we reveal a link between the MLE's convergence rate and the solvability of an associated system of polynomial equations characterizing near-nonidentifiable directions. For model selection, we adapt dendrograms of mixing measures to SGMoE, yielding a consistent, sweep-free selector of the number of experts that attains pointwise-optimal parameter rates under overfitting while avoiding multi-size training. Simulations on synthetic data corroborate the theory, accurately recovering the expert count and achieving the predicted rates for parameter estimation while closely approximating the regression function. Under model misspecification (e.g., $\epsilon$-contamination), the dendrogram selection criterion is robust, recovering the true number of mixture components, while the Akaike information criterion, the Bayesian information criterion, and the integrated completed likelihood tend to overselect as sample size grows. On a maize proteomics dataset of drought-responsive traits, our dendrogram-guided SGMoE selects two experts, exposes a clear mixing-measure hierarchy, stabilizes the likelihood early, and yields interpretable genotype-phenotype maps, outperforming standard criteria without multi-size training.
• Abstract（参考訳）: 我々は,パラメータ推定とモデル選択の3つの長年の障害に対処する,ソフトマックス付きガウス混合の専門家(SGMoE)のための統一統計フレームワークを開発する。 (i)共通翻訳までのゲーティングパラメータの識別不能性 (ii)可能性における結合微分関係を誘導する内在的ゲート-エキスパート相互作用、及び (3)ソフトマックス誘起条件密度におけるタイトな数値デノミネーター結合 提案手法では,ゲート分割幾何に整合したボロノイ型損失関数を導入し,最大極大推定器(MLE)に対する有限サンプル収束率を確立する。 過特定モデルでは、MLEの収束速度と、ほぼ不特定な方向を特徴づける多項式方程式の関連系の可解性との関係を明らかにする。 モデル選択では,SGMoEに混合手段のデンドログラムを適用し,マルチサイズトレーニングを回避しながら過度に最適化された最適パラメータ率を達成する専門家の数を一貫したスイープフリーセレクタを得る。 合成データのシミュレーションは、理論を裏付け、専門家の数を正確に回復し、回帰関数を密接に近似しながらパラメータ推定の予測率を達成する。 モデルミススペクテーション(例えば$\epsilon$-contamination)の下では、デンドログラムの選択基準は堅牢であり、混合成分の真の数を回復し、Akaike情報基準、ベイズ情報基準、および統合された完備度はサンプルサイズが大きくなるにつれて過剰選択される傾向にある。 干ばつに応答する形質のトウモロコシプロテオミクスデータセットでは、デンドログラム誘導SGMoEは2人の専門家を選抜し、明確な混合度階層を公開し、確率を早期に安定化し、解釈可能なジェノタイプ・フェノタイプマップを生成し、マルチサイズトレーニングなしで標準基準を上回ります。

関連論文リスト

• Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures [24.865197779389323]
  Mixture of Experts (MoE)モデルは、統計学と機械学習において広く利用されているアンサンブル学習アプローチのクラスである。 混合成分の真の数を一貫した推定が可能なガウスゲート型MoEモデルに新しい拡張を導入する。 合成データを用いた実験結果から,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T12:41:19Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• A non-asymptotic model selection in block-diagonal mixture of polynomial experts models [1.491109220586182]
  回帰モデルの未知条件密度を推定するために, ペナル化最大選択基準を導入する。 我々は、Jensen-Kullback-Leibler型損失によるペナル化極大確率で満たされる有限サンプルオラクルを含む強力な理論的保証を提供する。
  論文  参考訳（メタデータ） (2021-04-18T21:32:20Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Non-asymptotic oracle inequalities for the Lasso in high-dimensional mixture of experts [2.794896499906838]
  ソフトマックスゲーティング関数を持つガウスモデルとガウス専門家のクラスを考察する。 我々の知る限りでは、SGMoEモデルの$l_1$-regularization特性を非漸近的観点から初めて研究する。 我々は、SGMoEモデルに対するラッソ推定器のKulback-Leibler損失の非漸近的理論的制御を保証するために、ラッソペナルティの正規化パラメータの低い境界を与える。
  論文  参考訳（メタデータ） (2020-09-22T15:23:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。