論文の概要: Hidden Markov Models with Momentum
- arxiv url: http://arxiv.org/abs/2206.04057v1
- Date: Wed, 8 Jun 2022 15:49:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-11 06:52:41.204511
- Title: Hidden Markov Models with Momentum
- Title(参考訳): 運動量を持つ隠れマルコフモデル
- Authors: Andrew Miller and Fabio Di Troia and Mark Stamp
- Abstract要約: 隠れマルコフモデルのトレーニングのためのBaum-Welch予測最大化アルゴリズムに運動量を加える実験を行った。
実験の結果,Baum-Welch に運動量を加えることで,初期収束に必要な反復回数を減らすことができることがわかった。
しかし、モーメントは、多数のイテレーションで最終的なモデルパフォーマンスを改善するようには見えない。
- 参考スコア(独自算出の注目度): 6.48893856598641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Momentum is a popular technique for improving convergence rates during
gradient descent. In this research, we experiment with adding momentum to the
Baum-Welch expectation-maximization algorithm for training Hidden Markov
Models. We compare discrete Hidden Markov Models trained with and without
momentum on English text and malware opcode data. The effectiveness of momentum
is determined by measuring the changes in model score and classification
accuracy due to momentum. Our extensive experiments indicate that adding
momentum to Baum-Welch can reduce the number of iterations required for initial
convergence during HMM training, particularly in cases where the model is slow
to converge. However, momentum does not seem to improve the final model
performance at a high number of iterations.
- Abstract(参考訳): 運動量は勾配降下時の収束率を改善する一般的な手法である。
本研究では,隠れマルコフモデルの学習のためのbaum-welch expectation-maximizationアルゴリズムに運動量を追加する実験を行った。
我々は、英語のテキストとマルウェアの暗号データに基づいてトレーニングされた個別のHidden Markovモデルを比較した。
モデルスコアの変化と運動量による分類精度を測定して運動量の有効性を決定する。
広範な実験により、baum-welchに運動量を加えることで、特にモデルが収束が遅い場合に、hmmトレーニング中に初期収束に必要なイテレーションの数を削減できることが示された。
しかし、モーメントは、多数のイテレーションで最終的なモデルパフォーマンスを改善するようには見えない。
関連論文リスト
- Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - The Marginal Value of Momentum for Small Learning Rate SGD [14.156569506521638]
モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。
実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
論文 参考訳(メタデータ) (2023-07-27T21:01:26Z) - MoMo: Momentum Models for Adaptive Learning Rates [18.160160829597412]
我々は任意の運動量法で利用できる新しい適応学習率を提案する。
我々は,新たな適応学習率とともに,運動量を持つSGDであるMoMoとMoMo-Adamを開発した。
数値実験により,我々のMoMo法はSGDMとAdamよりも精度とロバスト性に優れていた。
論文 参考訳(メタデータ) (2023-05-12T16:25:57Z) - Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
近年,運動量に基づくアルゴリズムが特に普及している。
本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。
我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
論文 参考訳(メタデータ) (2022-09-08T10:46:05Z) - Accelerate Distributed Stochastic Descent for Nonconvex Optimization
with Momentum [12.324457683544132]
本稿では,そのようなモデル平均化手法のモーメント法を提案する。
このような運動量法の収束特性とスケーリング特性を解析する。
実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
論文 参考訳(メタデータ) (2021-10-01T19:23:18Z) - Escaping Saddle Points Faster with Stochastic Momentum [9.485782209646445]
ディープネットワークでは、モーメントは収束時間を大幅に改善しているように見える。
我々は,SGDを高速に回避できるため,運動量が深度トレーニングを改善することを示す。
また、理想運動量パラメータの選択方法を示す。
論文 参考訳(メタデータ) (2021-06-05T23:34:02Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Scaling Hidden Markov Language Models [118.55908381553056]
この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。
本研究では,HMMを大規模状態空間に拡張する手法を提案する。
論文 参考訳(メタデータ) (2020-11-09T18:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。