論文の概要: FiMReSt: Finite Mixture of Multivariate Regulated Skew-t Kernels -- A
Flexible Probabilistic Model for Multi-Clustered Data with
Asymmetrically-Scattered Non-Gaussian Kernels
- arxiv url: http://arxiv.org/abs/2305.09071v1
- Date: Mon, 15 May 2023 23:53:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:53:30.939038
- Title: FiMReSt: Finite Mixture of Multivariate Regulated Skew-t Kernels -- A
Flexible Probabilistic Model for Multi-Clustered Data with
Asymmetrically-Scattered Non-Gaussian Kernels
- Title（参考訳）: FiMReSt:多変量規則スキュートカーネルの有限混合 -非対称散乱非ガウス核を持つ多クラスタデータに対するフレキシブル確率モデル
- Authors: Sarmad Mehrdad, S. Farokh Atashzar
- Abstract要約: 本研究では,混合モデルを学習し,スキューをモデル化するための一般化可能性とパワーを高めるために,正規化された反復最適化プロセスを提案する。
得られた混合モデルは、マルチレギュレーションスキュート(FiMStss)の有限混合と呼ばれる。
この性能を検証するため,複数の実世界のデータセットと合成データセットに関する総合的な実験を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently skew-t mixture models have been introduced as a flexible
probabilistic modeling technique taking into account both skewness in data
clusters and the statistical degree of freedom (S-DoF) to improve modeling
generalizability, and robustness to heavy tails and skewness. In this paper, we
show that the state-of-the-art skew-t mixture models fundamentally suffer from
a hidden phenomenon named here as "S-DoF explosion," which results in local
minima in the shapes of normal kernels during the non-convex iterative process
of expectation maximization. For the first time, this paper provides insights
into the instability of the S-DoF, which can result in the divergence of the
kernels from the mixture of t-distribution, losing generalizability and power
for modeling the outliers. Thus, in this paper, we propose a regularized
iterative optimization process to train the mixture model, enhancing the
generalizability and resiliency of the technique. The resulting mixture model
is named Finite Mixture of Multivariate Regulated Skew-t (FiMReSt) Kernels,
which stabilizes the S-DoF profile during optimization process of learning. To
validate the performance, we have conducted a comprehensive experiment on
several real-world datasets and a synthetic dataset. The results highlight (a)
superior performance of the FiMReSt, (b) generalizability in the presence of
outliers, and (c) convergence of S-DoF.
- Abstract（参考訳）: 近年,データクラスタの歪度と統計的自由度(S-DoF)を考慮に入れたフレキシブルな確率論的モデリング手法としてスキュー・ト混合モデルを導入し,モデリングの一般化性の向上と重尾と歪性への堅牢性を実現している。
本稿では,非凸反復最大化過程における正常核の形状の局所的最小化をもたらす「S-DoF爆発」と呼ばれる隠蔽現象に,最先端のスキュー-t混合モデルが根本的に苦しめられていることを示す。
本稿では初めて,S-DoFの不安定性に関する知見を提供する。これはt分布の混合からカーネルの分散を招き,外乱をモデル化するための一般化性とパワーを失う。
そこで本研究では,混合モデルの一般化可能性とレジリエンスを高めるため,混合モデルの学習のための規則化反復最適化手法を提案する。
得られた混合モデルは、FiMReSt(FiMReSt)カーネルの有限混合と呼ばれ、学習の最適化過程でS-DoFプロファイルを安定化する。
この性能を検証するため,複数の実世界のデータセットと合成データセットに関する総合的な実験を行った。
結果が強調される
(a)FiMReStの優れた性能
(b)外れ値の存在における一般化可能性、及び
(c) S-DoF の収束
関連論文リスト
- Marginalization Consistent Mixture of Separable Flows for Probabilistic Irregular Time Series Forecasting [4.714246221974192]
我々は,新しい確率的不規則時系列予測モデル,Marginalization Consistent Mixtures of Separable Flows (moses)を開発した。
mosesは、他の最先端のマーカライゼーション一貫性モデルより優れ、ProFITiと同等だが、ProFITiと異なり、マーカライゼーション一貫性を保証する。
論文 参考訳（メタデータ） (2024-06-11T13:28:43Z) - Adaptive Fuzzy C-Means with Graph Embedding [84.47075244116782]
ファジィクラスタリングアルゴリズムは、大まかに2つの主要なグループに分類できる: ファジィC平均法(FCM)と混合モデルに基づく方法。
本稿では,FCMを用いたクラスタリングモデルを提案する。
論文 参考訳（メタデータ） (2024-05-22T08:15:50Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。
適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。
最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-10-05T14:08:42Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳（メタデータ） (2022-10-13T16:18:46Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳（メタデータ） (2021-11-01T09:17:15Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳（メタデータ） (2021-10-12T07:44:18Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Spectral Unmixing With Multinomial Mixture Kernel and Wasserstein
Generative Adversarial Loss [4.56877715768796]
本研究では1次元畳み込みカーネルとスペクトル不確実性を用いたスペクトルアンミックスのための新しいフレームワークを提案する。
高レベルの表現はデータから計算され、さらに多項混合モデルでモデル化される。
実データと合成データの両方で実験を行う。
論文 参考訳（メタデータ） (2020-12-12T16:49:01Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳（メタデータ） (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。