論文の概要: On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models
- arxiv url: http://arxiv.org/abs/2206.08598v1
- Date: Fri, 17 Jun 2022 07:50:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 12:55:22.374920
- Title: On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models
- Title（参考訳）: モデル同定性がガウス混合モデルの学習ダイナミクスに及ぼす影響について
- Authors: Pascal Mattia Esser, Frank Nielsen
- Abstract要約: 特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
- 参考スコア（独自算出の注目度）: 14.759688428864159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common way to learn and analyze statistical models is to consider
operations in the model parameter space. But what happens if we optimize in the
parameter space and there is no one-to-one mapping between the parameter space
and the underlying statistical model space? Such cases frequently occur for
hierarchical models which include statistical mixtures or stochastic neural
networks, and these models are said to be singular. Singular models reveal
several important and well-studied problems in machine learning like the
decrease in convergence speed of learning trajectories due to attractor
behaviors. In this work, we propose a relative reparameterization technique of
the parameter space, which yields a general method for extracting regular
submodels from singular models. Our method enforces model identifiability
during training and we study the learning dynamics for gradient descent and
expectation maximization for Gaussian Mixture Models (GMMs) under relative
parameterization, showing faster experimental convergence and a improved
manifold shape of the dynamics around the singularity. Extending the analysis
beyond GMMs, we furthermore analyze the Fisher information matrix under
relative reparameterization and its influence on the generalization error, and
show how the method can be applied to more complex models like deep neural
networks.
- Abstract（参考訳）: 統計モデルを学習し分析する一般的な方法は、モデルパラメータ空間での操作を考えることである。
しかし、パラメータ空間を最適化し、パラメータ空間と基礎となる統計モデル空間の間に1対1のマッピングがなければどうなるだろうか?
このようなケースは統計混合や確率的ニューラルネットワークを含む階層モデルに対してしばしば起こり、これらのモデルは特異であると言われている。
特異モデルは、アトラクタ行動による学習軌跡の収束速度の低下のような機械学習において、いくつかの重要かつよく研究された問題を明らかにする。
本研究では,パラメータ空間の相対的再パラメータ化手法を提案し,特異モデルから正規部分モデルを抽出する一般手法を提案する。
本手法は,学習中のモデル同定性を強制し,相対パラメータ化下でのガウス混合モデル(gmms)の勾配降下と期待最大化の学習ダイナミクスを検証し,実験収束の高速化と特異点周辺の力学の多様体形状の改善を示した。
さらに,本手法をgmmsを超えて拡張し,比較的再パラメータ化されたfisher情報行列と一般化誤差の影響を解析し,深層ニューラルネットワークなどのより複雑なモデルに適用できることを示す。
関連論文リスト
- Neural Superstatistics: A Bayesian Method for Estimating Dynamic Models
of Cognition [0.13999481573773068]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳（メタデータ） (2022-11-23T17:42:53Z) - Bayesian Learning of Coupled Biogeochemical-Physical Models [28.269731698116257]
本研究では,候補モデルの空間内での新しいモデルの発見を可能にするベイズモデル学習手法を開発した。
我々は偏微分方程式(PDE)によって支配される高次元および多分野の力学の課題に対処する。
我々は,3-5成分生態系モデルと組み合わせて,海山を流れる流れに基づく一連の双対実験を行う。
論文 参考訳（メタデータ） (2022-11-12T17:49:18Z) - Neural parameter calibration for large-scale multi-agent models [0.7734726150561089]
本稿では,ニューラルネットワークを用いてパラメータの精度の高い確率密度を求める手法を提案する。
2つの組み合わせは、非常に大きなシステムであっても、モデルパラメータの密度を素早く見積もることができる強力なツールを作成する。
論文 参考訳（メタデータ） (2022-09-27T17:36:26Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Optimizing differential equations to fit data and predict outcomes [0.0]
数値微分方程式解法による自動微分の最近の技術進歩は、フィッティング過程を比較的簡単な問題に変える可能性がある。
本稿は、ハレとリンクスの個体群における振動に古典的な生態データを用いて、様々な共通の課題を克服する方法を説明する。
論文 参考訳（メタデータ） (2022-04-16T16:08:08Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Towards Modeling and Resolving Singular Parameter Spaces using
Stratifolds [18.60761407945024]
学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。
直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。
経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
論文 参考訳（メタデータ） (2021-12-07T14:42:45Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。