論文の概要: Towards interpretability of Mixtures of Hidden Markov Models
- arxiv url: http://arxiv.org/abs/2103.12576v1
- Date: Tue, 23 Mar 2021 14:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 14:08:06.750791
- Title: Towards interpretability of Mixtures of Hidden Markov Models
- Title（参考訳）: 隠れマルコフモデルの混合の解釈可能性に向けて
- Authors: Negar Safinianaini and Henrik Bostr\"om
- Abstract要約: 隠れマルコフモデル(MHMM)の混合は、シーケンシャルデータのクラスタリングに頻繁に使用される。
MHMMの解釈可能性に対する情報理論的尺度(エントロピー)を提案する。
解釈性を改善するために,エントロピー規則化期待最大化(EM)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixtures of Hidden Markov Models (MHMMs) are frequently used for clustering
of sequential data. An important aspect of MHMMs, as of any clustering
approach, is that they can be interpretable, allowing for novel insights to be
gained from the data. However, without a proper way of measuring
interpretability, the evaluation of novel contributions is difficult and it
becomes practically impossible to devise techniques that directly optimize this
property. In this work, an information-theoretic measure (entropy) is proposed
for interpretability of MHMMs, and based on that, a novel approach to improve
model interpretability is proposed, i.e., an entropy-regularized Expectation
Maximization (EM) algorithm. The new approach aims for reducing the entropy of
the Markov chains (involving state transition matrices) within an MHMM, i.e.,
assigning higher weights to common state transitions during clustering. It is
argued that this entropy reduction, in general, leads to improved
interpretability since the most influential and important state transitions of
the clusters can be more easily identified. An empirical investigation shows
that it is possible to improve the interpretability of MHMMs, as measured by
entropy, without sacrificing (but rather improving) clustering performance and
computational costs, as measured by the v-measure and number of EM iterations,
respectively.
- Abstract（参考訳）: 隠れマルコフモデル(MHMM)の混合は、シーケンシャルデータのクラスタリングに頻繁に使用される。
クラスタリングアプローチにおけるMHMMの重要な側面は、それらが解釈可能であり、データから新たな洞察を得ることができることである。
しかし、解釈可能性の適切な測定方法がなければ、新規貢献の評価は困難であり、この特性を直接最適化する手法を考案することは事実上不可能である。
本研究では,MHMMの解釈可能性に対する情報理論測度(エントロピー)を提案し,それに基づいてモデル解釈可能性を改善する新しい手法,すなわちエントロピー規則化期待最大化(EM)アルゴリズムを提案する。
この新しいアプローチは、MHMM内のマルコフ連鎖(状態遷移行列を含む)のエントロピーを低減すること、すなわちクラスタリング中に共通状態遷移により高い重みを割り当てることを目的としている。
このエントロピーの低減は一般に、クラスタの最も影響力があり重要な状態遷移をより容易に特定できるため、解釈可能性の向上につながると論じられている。
実験的な研究により, クラスタリング性能と計算コストを犠牲にすることなく, エントロピーによって測定されたMHMMの解釈可能性を向上させることが可能であることが確認された。
関連論文リスト
- Weakly supervised covariance matrices alignment through Stiefel matrices
estimation for MEG applications [64.20396555814513]
本稿では,Mixing Model Stiefel Adaptation (MSA)と呼ばれる時系列データに対する新しいドメイン適応手法を提案する。
我々は、ドメイン間の等価な信号分散とペアの対応を確立することにより、ターゲット領域における豊富なラベルのないデータを利用して効果的な予測を行う。
MSAは、Cam-CANデータセットのMEG信号を用いて、タスクの変動を伴う脳年齢回帰の最近の手法より優れている。
論文 参考訳（メタデータ） (2024-01-24T19:04:49Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - ClusterDDPM: An EM clustering framework with Denoising Diffusion
Probabilistic Models [9.91610928326645]
拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。
本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。
Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
論文 参考訳（メタデータ） (2023-12-13T10:04:06Z) - Mixture of Coupled HMMs for Robust Modeling of Multivariate Healthcare
Time Series [7.5986411724707095]
隠れマルコフモデル(M-CHMM)を結合した新しいモデルのクラスを提案する。
モデル学習を実現するために、CHMM内の潜伏変数のシーケンスをサンプリングする2つのアルゴリズムを導出する。
既存の推論手法と比較して,アルゴリズムは計算可能であり,混合性が向上し,推定精度が向上する。
論文 参考訳（メタデータ） (2023-11-14T02:55:37Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Learning Hidden Markov Models When the Locations of Missing Observations
are Unknown [54.40592050737724]
本研究では、未知の観測位置を持つデータからHMMを学習する際の一般的な問題について考察する。
我々は、下層の鎖の構造に関する仮定を一切必要としない再構成アルゴリズムを提供する。
適切な仕様の下では、プロセスのダイナミクスを再構築でき、また、見当たらない観測位置が分かっていたとしても、その有効性を示す。
論文 参考訳（メタデータ） (2022-03-12T22:40:43Z) - Robust Classification using Hidden Markov Models and Mixtures of
Normalizing Flows [25.543231171094384]
我々は,隠れマルコフモデル(HMM)の状態遷移と,隠れたHMMの状態に対するニューラルネットワークに基づく確率分布を組み合わせた生成モデルを用いる。
音声認識への応用におけるNMM-HMM分類器の堅牢性の改善を検証する。
論文 参考訳（メタデータ） (2021-02-15T00:40:30Z) - Nonreversible MCMC from conditional invertible transforms: a complete
recipe with convergence guarantees [16.889031401821754]
MCMCは複素および高次元確率分布をサンプリングするアルゴリズムのクラスである。
可逆性はトラクタブルな性質であり、ここではあまりトラクタブルではないが必須の性質、不変性を意味する。
本稿では,非可逆マルコフカーネルのクラスが所望の不変性を持つことを保証するため,汎用ツールを開発することでギャップを埋める。
論文 参考訳（メタデータ） (2020-12-31T11:22:22Z) - DenseHMM: Learning Hidden Markov Models by Learning Dense
Representations [0.0]
本研究では,隠れ状態と観測可能性の両方の密表現を学習できる隠れマルコフモデル(hmms)の修正を提案する。
標準的なHMMと比較して、遷移確率は原子ではなく、カーネル化によるこれらの表現で構成されている。
DenseHMMの性質は、合成および生物医学的データセットで実証的に研究されている。
論文 参考訳（メタデータ） (2020-12-17T17:48:27Z) - Scaling Hidden Markov Language Models [118.55908381553056]
この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。
本研究では,HMMを大規模状態空間に拡張する手法を提案する。
論文 参考訳（メタデータ） (2020-11-09T18:51:55Z) - A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models [78.6363825307044]
本研究は、自己組織化マップ(SOM)とガウス混合モデル(GMM)の関係を数学的に扱うものである。
我々は,エネルギーベースSOMモデルを勾配勾配下降と解釈できることを示した。
このリンクはSOMsを生成確率モデルとして扱うことができ、SOMsを使用して外れ値を検出したりサンプリングしたりするための正式な正当性を与える。
論文 参考訳（メタデータ） (2020-09-24T14:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。