論文の概要: A study of latent monotonic attention variants

• arxiv url: http://arxiv.org/abs/2103.16710v1
• Date: Tue, 30 Mar 2021 22:35:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 06:26:47.543562
• Title: A study of latent monotonic attention variants
• Title（参考訳）: 潜在性単調注意変種の研究
• Authors: Albert Zeyer, Ralf Schl\"uter, Hermann Ney
• Abstract要約: エンドツーエンドモデルは音声認識の最先端性能に達するが、グローバルソフトな注意は単調ではない。 本稿では,新しい潜在変数を導入することで,単調性を導入する数学的にクリーンな解を提案する。 モノトニックモデルがグローバルソフトアテンションモデルと同等の性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 65.73442960456013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end models reach state-of-the-art performance for speech recognition, but global soft attention is not monotonic, which might lead to convergence problems, to instability, to bad generalisation, cannot be used for online streaming, and is also inefficient in calculation. Monotonicity can potentially fix all of this. There are several ad-hoc solutions or heuristics to introduce monotonicity, but a principled introduction is rarely found in literature so far. In this paper, we present a mathematically clean solution to introduce monotonicity, by introducing a new latent variable which represents the audio position or segment boundaries. We compare several monotonic latent models to our global soft attention baseline such as a hard attention model, a local windowed soft attention model, and a segmental soft attention model. We can show that our monotonic models perform as good as the global soft attention model. We perform our experiments on Switchboard 300h. We carefully outline the details of our training and release our code and configs.
• Abstract（参考訳）: エンドツーエンドモデルは音声認識の最先端のパフォーマンスに達するが、グローバルソフトアテンションはモノトニックではないため、収束問題、不安定性、悪質な一般化、オンラインストリーミングでは使用できず、計算にも非効率である。 モノトニック性は、これらすべてを修正する可能性がある。 単調性を導入するためのアドホックな解やヒューリスティックはいくつかあるが、これまでの文献では原則的な導入はまれである。 本稿では,音声の位置やセグメント境界を表す新しい潜在変数を導入することにより,単調性を導入する数学的にクリーンな解を提案する。 我々は,複数の単調潜在モデルと我々のグローバルなソフトアテンションベースライン(ハードアテンションモデル,ローカルウィンドウドソフトアテンションモデル,セグメンダルソフトアテンションモデルなど)を比較した。 モノトニックモデルがグローバルソフトアテンションモデルと同等の性能を持つことを示すことができる。 私たちはスイッチボード300hで実験を行います。 トレーニングの詳細を慎重に説明し、コードと設定をリリースします。

関連論文リスト

• Towards a Generalist and Blind RGB-X Tracker [91.36268768952755]
  我々は、推論時間中に任意のモダリティ X を無視できる単一のモデルトラッカーを開発する。 トレーニングプロセスは非常にシンプルで,複数ラベルの分類損失をルーティング関数に統合する。 我々のジェネラリストとブラインドトラッカーは、確立されたモーダル固有モデルと比較して、競争性能を達成することができる。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• How to address monotonicity for model risk management? [1.0878040851638]
  本稿では, 個々の単調性, 弱い対単調性, 強い対単調性という, 3種類の単調性の存在下での透明ニューラルネットワークについて検討する。 透明性を維持しながらモノトニック性を達成する手段として,ニューラル付加モデルのモノトニックグローブを提案する。
  論文  参考訳（メタデータ） (2023-04-28T04:21:02Z)
• Monotonic segmental attention for automatic speech recognition [45.036436385637295]
  本稿では,音声認識のための新しいセグメントアテンションモデルを提案する。 グローバルアテンションとセグメントアテンションモデリングの違いを比較した。 分節モデルは最大数分間の長い列に対してはるかに良く一般化する。
  論文  参考訳（メタデータ） (2022-10-26T14:21:23Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• Certified Monotonic Neural Networks [15.537695725617576]
  本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。 我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
  論文  参考訳（メタデータ） (2020-11-20T04:58:13Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)
• Exact Hard Monotonic Attention for Character-Level Transduction [76.66797368985453]
  非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
  論文  参考訳（メタデータ） (2019-05-15T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。