Fugu-MT 論文翻訳(概要): A non-asymptotic model selection in block-diagonal mixture of polynomial experts models

論文の概要: A non-asymptotic model selection in block-diagonal mixture of polynomial experts models

arxiv url: http://arxiv.org/abs/2104.08959v1
Date: Sun, 18 Apr 2021 21:32:20 GMT
ステータス: 処理完了
システム内更新日: 2021-04-20 14:45:19.635837
Title: A non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Title（参考訳）: 多項式エキスパートモデルのブロック-対角混合における非漸近モデル選択
Authors: TrungTin Nguyen, Faicel Chamroukhi, Hien Duy Nguyen, Florence Forbes
Abstract要約: 回帰モデルの未知条件密度を推定するために, ペナル化最大選択基準を導入する。我々は、Jensen-Kullback-Leibler型損失によるペナル化極大確率で満たされる有限サンプルオラクルを含む強力な理論的保証を提供する。
参考スコア（独自算出の注目度）: 1.491109220586182
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model selection via penalized likelihood type criteria is a standard task in many statistical inference and machine learning problems. It has led to deriving criteria with asymptotic consistency results and an increasing emphasis on introducing non-asymptotic criteria. We focus on the problem of modeling non-linear relationships in regression data with potential hidden graph-structured interactions between the high-dimensional predictors, within the mixture of experts modeling framework. In order to deal with such a complex situation, we investigate a block-diagonal localized mixture of polynomial experts (BLoMPE) regression model, which is constructed upon an inverse regression and block-diagonal structures of the Gaussian expert covariance matrices. We introduce a penalized maximum likelihood selection criterion to estimate the unknown conditional density of the regression model. This model selection criterion allows us to handle the challenging problem of inferring the number of mixture components, the degree of polynomial mean functions, and the hidden block-diagonal structures of the covariance matrices, which reduces the number of parameters to be estimated and leads to a trade-off between complexity and sparsity in the model. In particular, we provide a strong theoretical guarantee: a finite-sample oracle inequality satisfied by the penalized maximum likelihood estimator with a Jensen-Kullback-Leibler type loss, to support the introduced non-asymptotic model selection criterion. The penalty shape of this criterion depends on the complexity of the considered random subcollection of BLoMPE models, including the relevant graph structures, the degree of polynomial mean functions, and the number of mixture components.
Abstract（参考訳）: ペナラライズド・ラバース型基準によるモデル選択は、多くの統計推論や機械学習問題において標準的なタスクである。これは、漸近的整合性の結果による基準の導出と、非漸近的基準の導入に重点が置かれている。本研究では,高次元予測器間の隠れたグラフ構造的相互作用を考慮した回帰データにおける非線形関係のモデル化の問題に注目する。このような複雑な状況に対処するために、ガウスの専門家共分散行列の逆回帰とブロック対角構造に基づいて構築された多項式エキスパート回帰モデル(BLoMPE)のブロック対角混合について検討する。回帰モデルの未知条件密度を推定するために, ペナル化最大選択基準を導入する。このモデル選択基準により、混合成分の数、多項式平均関数の度合い、共分散行列の隠蔽ブロック対角構造を推定し、推定するパラメータの数を減らし、モデルの複雑さと疎さのトレードオフをもたらすという課題に対処できる。特に, 有限サンプルオラクル不等式は, 導入した非漸近モデル選択基準を支持するために, イェンセン・コールバック・リーブラー型損失のペナル化最大極大推定器で満たされる。この基準のペナルティ形状は、関連するグラフ構造、多項式平均関数の次数、混合成分の数を含む、blompeモデルのランダムな部分集合と見なされる複雑さに依存する。

関連論文リスト

Statistical ranking with dynamic covariates [6.729750785106628]
確率推定器 (MLE) を計算するための効率的な交互アルゴリズムを提案する。馬の競馬やテニス競技を含む実世界のデータセットに提案したモデルの適用を実証するために,我々の理論的知見を裏付ける包括的数値的研究を行った。
論文参考訳（メタデータ） (2024-06-24T10:26:05Z)
A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
論文参考訳（メタデータ） (2022-11-09T13:32:23Z)
Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。この問題は楕円分布のペナルティ化された最大推定値として表される。楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文参考訳（メタデータ） (2022-10-21T13:19:45Z)
Sparse Bayesian Learning for Complex-Valued Rational Approximations [0.03392423750246091]
サロゲートモデルは、エンジニアリングタスクの計算負担を軽減するために使用される。これらのモデルは入力パラメータに強い非線形依存を示す。合理的近似にスパース学習アプローチを適用する。
論文参考訳（メタデータ） (2022-06-06T12:06:13Z)
A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文参考訳（メタデータ） (2021-11-26T06:33:29Z)
A non-asymptotic penalization criterion for model selection in mixture of experts models [1.491109220586182]
ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
論文参考訳（メタデータ） (2021-04-06T16:24:55Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文参考訳（メタデータ） (2020-10-22T05:04:38Z)
Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文参考訳（メタデータ） (2020-09-29T15:00:47Z)
Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文参考訳（メタデータ） (2020-09-29T12:50:33Z)
Blocked Clusterwise Regression [0.0]
我々は、各ユニットが複数の潜伏変数を持つことを可能にすることで、離散的非観測的不均一性に対する以前のアプローチを一般化する。我々は,クラスタの過剰な数のクラスタリングの理論に寄与し,この設定に対する新たな収束率を導出する。
論文参考訳（メタデータ） (2020-01-29T23:29:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。