論文の概要: Speak or Chat with Me: End-to-End Spoken Language Understanding System
with Flexible Inputs
- arxiv url: http://arxiv.org/abs/2104.05752v1
- Date: Wed, 7 Apr 2021 20:48:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 19:43:26.500442
- Title: Speak or Chat with Me: End-to-End Spoken Language Understanding System
with Flexible Inputs
- Title（参考訳）: Speak or Chat with Me: フレキシブル入力を用いたエンドツーエンド音声言語理解システム
- Authors: Sujeong Cha, Wangrui Hou, Hyun Jung, My Phung, Michael Picheny,
Hong-Kwang Kuo, Samuel Thomas, Edmilson Morais
- Abstract要約: 本稿では, 音声, ASR 転写文, あるいはその両方から, フレキシブルな入力から意図を予測できる新しいシステムを提案する。
本実験は,これらの事前学習および微調整戦略に有意な優位性を示し,競争目的分類性能を実現するシステムを実現した。
- 参考スコア（独自算出の注目度）: 21.658650440278063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A major focus of recent research in spoken language understanding (SLU) has
been on the end-to-end approach where a single model can predict intents
directly from speech inputs without intermediate transcripts. However, this
approach presents some challenges. First, since speech can be considered as
personally identifiable information, in some cases only automatic speech
recognition (ASR) transcripts are accessible. Second, intent-labeled speech
data is scarce. To address the first challenge, we propose a novel system that
can predict intents from flexible types of inputs: speech, ASR transcripts, or
both. We demonstrate strong performance for either modality separately, and
when both speech and ASR transcripts are available, through system combination,
we achieve better results than using a single input modality. To address the
second challenge, we leverage a semantically robust pre-trained BERT model and
adopt a cross-modal system that co-trains text embeddings and acoustic
embeddings in a shared latent space. We further enhance this system by
utilizing an acoustic module pre-trained on LibriSpeech and domain-adapting the
text module on our target datasets. Our experiments show significant advantages
for these pre-training and fine-tuning strategies, resulting in a system that
achieves competitive intent-classification performance on Snips SLU and Fluent
Speech Commands datasets.
- Abstract（参考訳）: 音声言語理解(SLU)における最近の研究の大きな焦点は、単一のモデルが中間書き起こしのない音声入力から直接意図を予測できるエンドツーエンドアプローチである。
しかし、このアプローチにはいくつかの課題がある。
第一に、音声は個人識別可能な情報とみなすことができるため、場合によっては自動音声認識(ASR)文字のみにアクセス可能である。
第2に,インテントラベル音声データは少ない。
第1の課題に対処するために,音声,asr書き起こし,あるいはその両方といった柔軟な入力から意図を予測できる新しいシステムを提案する。
また,音声とasrの書き起こしが利用可能である場合,システムの組み合わせにより,単一の入力モダリティを使用するよりも優れた結果が得られることを示す。
第2の課題に対処すべく,semantically robust pre-trained bertモデルを利用し,テキスト埋め込みと音響埋め込みを共有潜在空間で共学習するクロスモーダルシステムを採用する。
我々は、LibriSpeechで事前訓練された音響モジュールと、ターゲットデータセット上のテキストモジュールをドメイン適応することで、このシステムをさらに強化する。
その結果,Snips SLUとFluent Speech Commandsのデータセット上での競合意図分類性能を実現するシステムを実現した。
関連論文リスト
- Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。
音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。
本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
論文 参考訳（メタデータ） (2024-09-30T07:01:21Z) - Instruction-Following Speech Recognition [21.591086644665197]
本稿では,命令追従音声認識を導入し,多様な自由形式のテキスト命令の理解と実行を行うリステン・アテンド・スペルモデルを訓練する。
注目すべきは、我々のモデルは、Librispeechでゼロから訓練され、大規模言語モデルや事前訓練された音声モジュールを必要とせずに、簡単な命令を解釈し、実行します。
論文 参考訳（メタデータ） (2023-09-18T14:59:10Z) - BLSP: Bootstrapping Language-Speech Pre-training via Behavior Alignment of Continuation Writing [35.31866559807704]
音声とテキスト間のモダリティアライメントは 未解決の問題です
本稿では,継続文の動作アライメントによるLanguage-Speech事前学習をブートストラップするBLSP手法を提案する。
この簡単な処理により、ゼロショットの言語間シナリオであっても、音声認識、音声翻訳、音声言語理解、音声会話が可能なLLMの能力を音声に拡張できることを実証する。
論文 参考訳（メタデータ） (2023-09-02T11:46:05Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳（メタデータ） (2023-09-01T12:35:43Z) - Improving Textless Spoken Language Understanding with Discrete Units as
Intermediate Target [58.59044226658916]
Spoken Language Understanding (SLU) は、音声音声から意味情報を抽出することを目的としたタスクである。
本研究では,テキストレスSLUの性能向上のための中間ガイダンスとして離散単位を用いることを提案する。
論文 参考訳（メタデータ） (2023-05-29T14:00:24Z) - VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for
Speech Representation Learning [119.49605266839053]
VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。
提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。
これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
論文 参考訳（メタデータ） (2022-11-21T09:10:10Z) - Towards Reducing the Need for Speech Training Data To Build Spoken
Language Understanding Systems [29.256853083988634]
適切なラベルを持つ大量のテキストデータは通常利用可能である。
本稿では,これらのテキストリソースを用いて,E2E SLUシステムを効果的に構築できる新しいテキスト表現と学習手法を提案する。
論文 参考訳（メタデータ） (2022-02-26T15:21:13Z) - SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text
Joint Pre-Training [33.02912456062474]
我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。
プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2021-10-20T00:59:36Z) - Semi-Supervised Spoken Language Understanding via Self-Supervised Speech
and Language Model Pretraining [64.35907499990455]
そこで本稿では,音声から意味論を直接学習するフレームワークを提案する。
我々のフレームワークは、事前訓練されたエンドツーエンド(E2E)ASRとBERTのような自己教師型言語モデルに基づいて構築されている。
並行して,SLUモデルを評価するための重要な基準として,環境騒音汚染度とE2Eセマンティクス評価の2つがあげられる。
論文 参考訳（メタデータ） (2020-10-26T18:21:27Z) - SPLAT: Speech-Language Joint Pre-Training for Spoken Language
Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。
大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。
音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文 参考訳（メタデータ） (2020-10-05T19:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。