論文の概要: Integrating Discrete and Neural Features via Mixed-feature Trans-dimensional Random Field Language Models

• arxiv url: http://arxiv.org/abs/2002.05967v2
• Date: Thu, 16 Apr 2020 05:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:12:43.034403
• Title: Integrating Discrete and Neural Features via Mixed-feature Trans-dimensional Random Field Language Models
• Title（参考訳）: 混合機能な超次元ランダム場言語モデルによる離散・ニューラル特徴の統合
• Authors: Silin Gao, Zhijian Ou, Wei Yang and Huifang Xu
• Abstract要約: 本稿では,混合機能TRF LMを開発し,離散的特徴とニューラル特徴を統合する上での利点を示す。 PTBとGoogleのワンビリオンワードデータセットを使って様々なLMをトレーニングし、音声認識のためのN-bestリスト再構成実験で評価する。 個別に訓練された2つのモデルと神経的特徴を補間するのと比較して、混合機能TRF LMの性能が最良である。
• 参考スコア（独自算出の注目度）: 19.409847780307445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a long recognition that discrete features (n-gram features) and neural network based features have complementary strengths for language models (LMs). Improved performance can be obtained by model interpolation, which is, however, a suboptimal two-step integration of discrete and neural features. The trans-dimensional random field (TRF) framework has the potential advantage of being able to flexibly integrate a richer set of features. However, either discrete or neural features are used alone in previous TRF LMs. This paper develops a mixed-feature TRF LM and demonstrates its advantage in integrating discrete and neural features. Various LMs are trained over PTB and Google one-billion-word datasets, and evaluated in N-best list rescoring experiments for speech recognition. Among all single LMs (i.e. without model interpolation), the mixed-feature TRF LMs perform the best, improving over both discrete TRF LMs and neural TRF LMs alone, and also being significantly better than LSTM LMs. Compared to interpolating two separately trained models with discrete and neural features respectively, the performance of mixed-feature TRF LMs matches the best interpolated model, and with simplified one-step training process and reduced training time.
• Abstract（参考訳）: 離散的特徴(n-gram特徴)とニューラルネットワークに基づく特徴が言語モデル(lms)に補完的な強みを持つことが長年認識されてきた。 モデル補間によって性能が向上するが、これは離散的および神経的特徴の最適化された2段階統合である。 半次元ランダム場(TRF)フレームワークは、よりリッチな特徴セットを柔軟に統合できる潜在的な利点を持つ。 しかし、離散的特徴または神経的特徴は、以前のTRF LMでのみ使用される。 本稿では,混合機能TRF LMを開発し,離散的特徴とニューラル特徴を統合する上での利点を示す。 PTBとGoogleのワンビリオンワードデータセットを使って様々なLMをトレーニングし、音声認識のためのN-bestリスト再構成実験で評価する。 全ての単一LM(すなわちモデル補間無し)の中で、混合機能TRF LMは、離散性TRF LMと神経性TRF LMの両方よりも優れており、LSTM LMよりも大幅に優れている。 個別に訓練された2つのモデルと神経特性の補間と比較して、混合機能TRF LMの性能は最高の補間モデルと一致し、ワンステップトレーニングプロセスの簡略化とトレーニング時間を短縮した。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• External Language Model Integration for Factorized Neural Transducers [7.5969913968845155]
  外部言語モデルを用いた因子化ニューラルトランスデューサ(FNT)の適応法を提案する。 その結果, 各シナリオにおける語彙順応と, 1つのエンティティリッチシナリオにおける最大60%のWERRの加算ゲインで平均18%のWERRが得られた。
  論文  参考訳（メタデータ） (2023-05-26T23:30:21Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
  本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。 浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。 再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
  論文  参考訳（メタデータ） (2022-04-15T17:19:41Z)
• Bidirectional LSTM-CRF Attention-based Model for Chinese Word Segmentation [2.3991565023534087]
  中国語単語セグメンテーションのための双方向LSTM-CRFアテンションベースモデルを提案する。 我々のモデルは、他のニューラルネットワークによるベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2021-05-20T11:46:53Z)
• Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model [6.383006473302968]
  線形反復特徴埋め込み(LIFE)と呼ばれる解釈可能なモデルのための新しいアンサンブルフレームワークを開発した。 LIFEは、広い一層ニューラルネットワーク(NN)を正確に3つのステップに適合させることができる。 LIFEは直接訓練された単層NNを一貫して上回り、また他の多くのベンチマークモデルより上です。
  論文  参考訳（メタデータ） (2021-03-18T02:01:17Z)
• On Minimum Word Error Rate Training of the Hybrid Autoregressive Transducer [40.63693071222628]
  ハイブリッド自己回帰変換器(HAT)の最小単語誤り率(MWER)訓練について検討する。 約3万時間のトレーニングデータを用いた実験から,MWERトレーニングがHATモデルの精度を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-23T21:16:30Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。