論文の概要: Hidden Markov Models with Momentum

• arxiv url: http://arxiv.org/abs/2206.04057v1
• Date: Wed, 8 Jun 2022 15:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-11 06:52:41.204511
• Title: Hidden Markov Models with Momentum
• Title（参考訳）: 運動量を持つ隠れマルコフモデル
• Authors: Andrew Miller and Fabio Di Troia and Mark Stamp
• Abstract要約: 隠れマルコフモデルのトレーニングのためのBaum-Welch予測最大化アルゴリズムに運動量を加える実験を行った。 実験の結果,Baum-Welch に運動量を加えることで,初期収束に必要な反復回数を減らすことができることがわかった。 しかし、モーメントは、多数のイテレーションで最終的なモデルパフォーマンスを改善するようには見えない。
• 参考スコア（独自算出の注目度）: 6.48893856598641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Momentum is a popular technique for improving convergence rates during gradient descent. In this research, we experiment with adding momentum to the Baum-Welch expectation-maximization algorithm for training Hidden Markov Models. We compare discrete Hidden Markov Models trained with and without momentum on English text and malware opcode data. The effectiveness of momentum is determined by measuring the changes in model score and classification accuracy due to momentum. Our extensive experiments indicate that adding momentum to Baum-Welch can reduce the number of iterations required for initial convergence during HMM training, particularly in cases where the model is slow to converge. However, momentum does not seem to improve the final model performance at a high number of iterations.
• Abstract（参考訳）: 運動量は勾配降下時の収束率を改善する一般的な手法である。 本研究では,隠れマルコフモデルの学習のためのbaum-welch expectation-maximizationアルゴリズムに運動量を追加する実験を行った。 我々は、英語のテキストとマルウェアの暗号データに基づいてトレーニングされた個別のHidden Markovモデルを比較した。 モデルスコアの変化と運動量による分類精度を測定して運動量の有効性を決定する。 広範な実験により、baum-welchに運動量を加えることで、特にモデルが収束が遅い場合に、hmmトレーニング中に初期収束に必要なイテレーションの数を削減できることが示された。 しかし、モーメントは、多数のイテレーションで最終的なモデルパフォーマンスを改善するようには見えない。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Ordered Momentum for Asynchronous SGD [12.810976838406193]
  本稿では,ASGDのための運動量(OrMo)と呼ばれる新しい手法を提案する。 OrMo では、運動量は指数に基づいて順に勾配を整理することで ASGD に組み込まれる。 実験結果から,OrMoはASGDに比べてコンバージェンス性能がよいことが示された。
  論文  参考訳（メタデータ） (2024-07-27T11:35:19Z)
• When predict can also explain: few-shot prediction to select better neural latents [3.6218162133579703]
  基礎的真理をより正確に反映した潜伏変数を求めるために考案された新しい予測指標を提案する。 基底的真理が欠如している場合には、外部ダイナミクスを定量化するためのプロキシ測度を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:48:30Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• MoMo: Momentum Models for Adaptive Learning Rates [14.392926033512069]
  我々は任意の運動量法で利用できる新しいPolyak型適応学習率を開発した。 我々はまず,SGD-Mのモーメントモデルに基づく適応学習率であるMoMoを開発した。 運動量に基づく手法と組み合わせてMoMoを利用できることを示すとともに,MoMo-Adamの開発によってこれを実証する。
  論文  参考訳（メタデータ） (2023-05-12T16:25:57Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Scaling Hidden Markov Language Models [118.55908381553056]
  この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。 本研究では,HMMを大規模状態空間に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T18:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。