論文の概要: Scaling Hidden Markov Language Models

• arxiv url: http://arxiv.org/abs/2011.04640v1
• Date: Mon, 9 Nov 2020 18:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 00:05:59.444311
• Title: Scaling Hidden Markov Language Models
• Title（参考訳）: 隠れマルコフ言語モデルのスケーリング
• Authors: Justin T. Chiu and Alexander M. Rush
• Abstract要約: この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。 本研究では,HMMを大規模状態空間に拡張する手法を提案する。
• 参考スコア（独自算出の注目度）: 118.55908381553056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The hidden Markov model (HMM) is a fundamental tool for sequence modeling that cleanly separates the hidden state from the emission structure. However, this separation makes it difficult to fit HMMs to large datasets in modern NLP, and they have fallen out of use due to very poor performance compared to fully observed models. This work revisits the challenge of scaling HMMs to language modeling datasets, taking ideas from recent approaches to neural modeling. We propose methods for scaling HMMs to massive state spaces while maintaining efficient exact inference, a compact parameterization, and effective regularization. Experiments show that this approach leads to models that are more accurate than previous HMM and n-gram-based methods, making progress towards the performance of state-of-the-art neural models.
• Abstract（参考訳）: 隠れマルコフモデル(HMM)は、隠された状態と放出構造をきれいに分離するシーケンスモデリングの基本的なツールである。 しかし、この分離により、HMMを現在のNLPの大規模データセットに適合させることが難しくなり、完全に観測されたモデルに比べて非常に性能が劣っているため、使用が不可能になった。 この研究は、HMMを言語モデリングデータセットにスケールするという課題を再考し、ニューラルモデリングへの最近のアプローチからアイデアを取り入れている。 本稿では,効率的な正確な推論,コンパクトパラメータ化,効果的な正規化を維持しつつ,hmmを大規模状態空間にスケールする方法を提案する。 実験によると、このアプローチは従来のHMMやn-gramベースの手法よりも正確で、最先端のニューラルモデルの性能向上につながる。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• State-observation augmented diffusion model for nonlinear assimilation [6.682908186025083]
  生成モデルに基づく新しいデータ駆動同化アルゴリズムを提案する。 我々の状態観測拡張拡散モデル(SOAD)は、非線形物理モデルと観測モデルをより効率的に扱うように設計されている。
  論文  参考訳（メタデータ） (2024-07-31T03:47:20Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Normalizing Flow based Hidden Markov Models for Classification of Speech Phones with Explainability [25.543231171094384]
  説明可能性を求めるため,逐次データ生成モデルを開発した。 我々は、現代のニューラルネットワーク(正規化フロー)と伝統的な生成モデル(隠れマルコフモデル - HMM)を組み合わせる。 提案した生成モデルは、データの可能性を計算することができ、従って、最大形分類法(ML)に直接適合する。
  論文  参考訳（メタデータ） (2021-07-01T20:10:55Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• Training Structured Mechanical Models by Minimizing Discrete Euler-Lagrange Residual [36.52097893036073]
  structured mechanical models (smms) は、機械システムのデータ効率の良いブラックボックスパラメータ化である。 離散オイラーラグランジュ残差を最小化することにより,SMMをデータに適用する手法を提案する。 実験の結果,従来のSMMの適合方式よりも精度の高いモデルが得られた。
  論文  参考訳（メタデータ） (2021-05-05T00:44:01Z)
• Lossless compression with state space models using bits back coding [17.625326990547332]
  我々は'bits back with ans'法を潜在マルコフ構造を持つ時系列モデルに一般化する。 本手法が小規模モデルに有効であることを実験的に証明し,ビデオ圧縮などの大規模設定への適用性について考察した。
  論文  参考訳（メタデータ） (2021-03-18T10:34:57Z)
• Robust Classification using Hidden Markov Models and Mixtures of Normalizing Flows [25.543231171094384]
  我々は,隠れマルコフモデル(HMM)の状態遷移と,隠れたHMMの状態に対するニューラルネットワークに基づく確率分布を組み合わせた生成モデルを用いる。 音声認識への応用におけるNMM-HMM分類器の堅牢性の改善を検証する。
  論文  参考訳（メタデータ） (2021-02-15T00:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。