Fugu-MT 論文翻訳(概要): Transformer-based language modeling and decoding for conversational speech recognition

論文の概要: Transformer-based language modeling and decoding for conversational speech recognition

arxiv url: http://arxiv.org/abs/2001.01140v1
Date: Sat, 4 Jan 2020 23:27:59 GMT
ステータス: 処理完了
システム内更新日: 2023-01-14 12:40:47.941306
Title: Transformer-based language modeling and decoding for conversational speech recognition
Title（参考訳）: 会話音声認識のためのトランスフォーマティブ言語モデリングと復号化
Authors: Kareem Nassar
Abstract要約: 重み付き有限状態トランスデューサフレームワークで効率的に復号する。本稿では,トランスフォーマーに基づく言語モデルにより,より長い範囲の履歴をキャプチャ可能な格子再構成手法について紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a way to use a transformer-based language model in conversational speech recognition. Specifically, we focus on decoding efficiently in a weighted finite-state transducer framework. We showcase an approach to lattice re-scoring that allows for longer range history captured by a transfomer-based language model and takes advantage of a transformer's ability to avoid computing sequentially.
Abstract（参考訳）: 本稿では,会話音声認識におけるトランスフォーマティブ言語モデルの利用法を提案する。具体的には,重み付き有限状態トランスデューサフレームワークにおけるデコーディングを効率的に行う。本稿では,トランスフォーマーに基づく言語モデルにより,より長い範囲履歴をキャプチャし,逐次計算を回避できるトランスフォーマーの能力を活かした格子再構成手法を提案する。

関連論文リスト

Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
論文参考訳（メタデータ） (2022-09-15T22:37:22Z)
Improving Transformer-based Conversational ASR by Inter-Sentential Attention Mechanism [20.782319059183173]
本稿では,会話音声認識のためのトランスフォーマーに基づくエンドツーエンドアーキテクチャにおいて,文間情報を明示的にモデル化することを提案する。提案手法は,複数のオープンソースの対話コーパスに対して有効であり,提案手法は発話レベル変換器を用いたASRモデルから連続的に性能を向上する。
論文参考訳（メタデータ） (2022-07-02T17:17:47Z)
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文参考訳（メタデータ） (2022-05-02T17:59:02Z)
LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
論文参考訳（メタデータ） (2021-12-04T04:53:35Z)
Multi-View Self-Attention Based Transformer for Speaker Recognition [33.21173007319178]
トランスフォーマーモデルは、話者認識などの音声処理タスクに広く利用されている。本稿では,話者変換器のための多視点自己認識機構を提案する。提案した話者トランスフォーマーネットワークは,最先端モデルと比較して優れた結果が得られることを示す。
論文参考訳（メタデータ） (2021-10-11T07:03:23Z)
Knowledge Distillation from BERT Transformer to Speech Transformer for Intent Classification [66.62686601948455]
本研究では,変圧器に基づく言語モデルから変圧器に基づく音声モデルへの知識蒸留に特化して設計された変圧器蒸留法のスコープを利用する。本研究では,Fluent 音声コーパスとATISデータベースの意図分類精度を99.10%,88.79%とした。
論文参考訳（メタデータ） (2021-08-05T13:08:13Z)
Streaming Simultaneous Speech Translation with Augmented Memory Transformer [29.248366441276662]
トランスフォーマーに基づくモデルは、音声翻訳タスクにおける最先端のパフォーマンスを達成した。本稿では,拡張メモリ変換器エンコーダを備えたエンドツーエンド変換器を用いたシーケンス・ツー・シーケンスモデルを提案する。
論文参考訳（メタデータ） (2020-10-30T18:28:42Z)
Investigation of Speaker-adaptation methods in Transformer based ASR [8.637110868126548]
本稿では,トランスフォーマモデルを用いて音声認識性能の向上を図りながら,エンコーダ入力に話者情報を組み込む方法について検討する。話者情報を各話者に対する話者埋め込み形式で提示する。モデルに話者埋め込みを組み込むことにより,ベースライン上の単語誤り率を改善する。
論文参考訳（メタデータ） (2020-08-07T16:09:03Z)
Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文参考訳（メタデータ） (2020-08-07T11:02:07Z)
Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
相対位置符号化方式を音声変換器に適用する。その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
論文参考訳（メタデータ） (2020-05-20T09:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。