論文の概要: Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words

• arxiv url: http://arxiv.org/abs/2408.08027v2
• Date: Fri, 11 Oct 2024 05:31:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 07:29:14.280279
• Title: Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
• Title（参考訳）: 希少・曖昧な単語の文脈化による大規模言語モデルに基づく音声認識の強化
• Authors: Kento Nozawa, Takashi Masuko, Toru Taniguchi,
• Abstract要約: 我々は,テキストプロンプトにキーワードを付与することで文脈認識が可能な,大規模言語モデル(LLM)に基づく自動音声認識(ASR)システムを開発した。 我々はデコーダのみのアーキテクチャを採用し、日本語と英語が支配するデータセットをデコーダとして、スクラッチから事前学習した社内LLMであるPLaMo-100Bをデコーダとして使用する。
• 参考スコア（独自算出の注目度）: 10.2138250640885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a large language model (LLM) based automatic speech recognition (ASR) system that can be contextualized by providing keywords as prior information in text prompts. We adopt decoder-only architecture and use our in-house LLM, PLaMo-100B, pre-trained from scratch using datasets dominated by Japanese and English texts as the decoder. We adopt a pre-trained Whisper encoder as an audio encoder, and the audio embeddings from the audio encoder are projected to the text embedding space by an adapter layer and concatenated with text embeddings converted from text prompts to form inputs to the decoder. By providing keywords as prior information in the text prompts, we can contextualize our LLM-based ASR system without modifying the model architecture to transcribe ambiguous words in the input audio accurately. Experimental results demonstrate that providing keywords to the decoder can significantly improve the recognition performance of rare and ambiguous words.
• Abstract（参考訳）: 我々は,テキストプロンプトの先行情報としてキーワードを提供することで,文脈認識が可能な大規模言語モデル (LLM) に基づく自動音声認識システムを開発した。 我々はデコーダのみのアーキテクチャを採用し、日本語と英語が支配するデータセットをデコーダとして、スクラッチから事前学習した社内LLMであるPLaMo-100Bをデコーダとして使用する。 我々は、事前訓練されたWhisperエンコーダをオーディオエンコーダとして採用し、オーディオエンコーダからのオーディオ埋め込みをアダプタ層によりテキスト埋め込み空間に投影し、テキストプロンプトから変換されたテキスト埋め込みと結合してデコーダへの入力を形成する。 テキストプロンプトの先行情報としてキーワードを提供することにより、入力音声中の曖昧な単語を正確に書き起こすためにモデルアーキテクチャを変更することなく、LLMベースのASRシステムを文脈化することができる。 実験結果から,デコーダにキーワードを付与することで,希少かつ曖昧な単語の認識性能を大幅に向上させることができることがわかった。

関連論文リスト

• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• PromptASR for contextualized ASR with controllable style [19.493184060647728]
  本稿では,エンドツーエンドの自動音声認識システムにプロンプトを統合するフレームワークであるPromptASRを提案する。 本システムでは,書籍読解データセットの単語誤り率を21.9%と6.8%削減する。 テキストエンコーダに追加のスタイルプロンプトを付与し、ASRシステムを誘導して異なるスタイルの書き起こしを出力する。
  論文  参考訳（メタデータ） (2023-09-14T03:43:07Z)
• DTrOCR: Decoder-only Transformer for Optical Character Recognition [0.0]
  我々は,光文字認識用デコーダのみ変換器(DTrOCR)と呼ばれる,テキスト認識のためのよりシンプルで効果的な方法を提案する。 この方法は、デコーダのみのトランスフォーマーを使用して、大きなコーパスで事前訓練された生成言語モデルを活用する。 我々の実験では、DTrOCRは、英語と中国語の両方で印刷、手書き、シーンテキストの認識において、最先端の手法よりもはるかに優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-30T12:37:03Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining [68.05105411320842]
  本稿では,従来のエンコーダ・デコーダ認識フレームワークにおいて,視覚と言語を事前学習するための新しいアプローチであるMaskOCRを提案する。 マスク付き画像モデリング手法を用いて、未ラベルのテキスト画像の集合を用いて特徴エンコーダを事前学習する。 テキストデータを合成されたテキスト画像に変換し、視覚と言語のデータモダリティを統一し、シーケンスデコーダの言語モデリング能力を向上する。
  論文  参考訳（メタデータ） (2022-06-01T08:27:19Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。