論文の概要: Efficient Sequence Training of Attention Models using Approximative Recombination

• arxiv url: http://arxiv.org/abs/2110.09245v1
• Date: Mon, 18 Oct 2021 12:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 18:19:49.335235
• Title: Efficient Sequence Training of Attention Models using Approximative Recombination
• Title（参考訳）: 近似組換えを用いた注意モデルの効率よい系列学習
• Authors: Nils-Philipp Wynands and Wilfried Michel and Jan Rosendahl and Ralf Schl\"uter and Hermann Ney
• Abstract要約: 逐次識別訓練は,音声認識システムの性能向上に有効である。 しかし、実際には計算が困難である全ての可能な単語列に対して和を必要とする。 本研究は,ビームサーチにおける仮説の(近似的な)組換えを提案する。
• 参考スコア（独自算出の注目度）: 44.501712281337205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence discriminative training is a great tool to improve the performance of an automatic speech recognition system. It does, however, necessitate a sum over all possible word sequences, which is intractable to compute in practice. Current state-of-the-art systems with unlimited label context circumvent this problem by limiting the summation to an n-best list of relevant competing hypotheses obtained from beam search. This work proposes to perform (approximative) recombinations of hypotheses during beam search, if they share a common local history. The error that is incurred by the approximation is analyzed and it is shown that using this technique the effective beam size can be increased by several orders of magnitude without significantly increasing the computational requirements. Lastly, it is shown that this technique can be used to effectively perform sequence discriminative training for attention-based encoder-decoder acoustic models on the LibriSpeech task.
• Abstract（参考訳）: シーケンス判別訓練は、自動音声認識システムの性能を向上させるための優れたツールである。 しかし、実際には計算が困難である全ての可能な単語列に対して和を必要とする。 有限ラベル文脈を持つ現在の最先端システムは、ビームサーチから得られる関連する競合仮説のn-bestリストに和を限定することでこの問題を回避する。 本研究は,ビーム探索中に仮説の再結合を(近似的に)行うことを提案する。 近似によって生じる誤差を解析し, この手法を用いて計算量を大幅に増加させることなく, 有効ビームサイズを数桁増加させることができることを示した。 最後に,本手法は,librispeechタスクにおける注意に基づくエンコーダ・デコーダ音響モデルのシーケンス識別訓練を効果的に行うことができることを示した。

関連論文リスト

• Bisimulation Learning [55.859538562698496]
  我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。 提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
  論文  参考訳（メタデータ） (2024-05-24T17:11:27Z)
• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Improved Beam Search for Hallucination Mitigation in Abstractive Summarization [1.2328446298523066]
  本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。 本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。 提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
  論文  参考訳（メタデータ） (2022-12-06T02:33:47Z)
• A New Sentence Ordering Method Using BERT Pretrained Model [2.1793134762413433]
  本稿では,訓練段階を必要とせず,学習のための大きなコーパスを必要とする文順序付け手法を提案する。 提案手法は,5文ストーリーのコーパスであるROCStoriesの他のベースラインよりも優れていた。 この方法の他の利点の1つは、言語知識に対する解釈可能性と不要性である。
  論文  参考訳（メタデータ） (2021-08-26T18:47:15Z)
• Automatic Vocabulary and Graph Verification for Accurate Loop Closure Detection [21.862978912891677]
  Bag-of-Words (BoW)は、機能と関連付け、ループを検出する視覚語彙を構築する。 本稿では,ノードの半径と特徴記述子のドリフトを比較することで,自然な収束基準を提案する。 本稿では,候補ループの検証のための新しいトポロジカルグラフ検証手法を提案する。
  論文  参考訳（メタデータ） (2021-07-30T13:19:33Z)
• Scalable Optimal Classifiers for Adversarial Settings under Uncertainty [10.90668635921398]
  本稿では,攻撃者に対して目的が不明な攻撃者がクラス-1データを生成する対角的設定において,最適な分類器を見つけることの問題点を考察する。 この低次元キャラクタリゼーションにより,ほぼほぼ最適な分類器をスケーラブルに計算する訓練手法が開発可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-28T13:33:53Z)
• Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
  タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。 本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。 提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-16T08:17:18Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。