論文の概要: Parameter-efficient Adaptation of Multilingual Multimodal Models for Low-resource ASR

• arxiv url: http://arxiv.org/abs/2410.13445v1
• Date: Thu, 17 Oct 2024 11:19:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:36.706516
• Title: Parameter-efficient Adaptation of Multilingual Multimodal Models for Low-resource ASR
• Title（参考訳）: 低リソースASRのための多言語マルチモーダルモデルのパラメータ効率適応
• Authors: Abhishek Gupta, Amruta Parulekar, Sameep Chattopadhyay, Preethi Jyothi,
• Abstract要約: マルチモーダルモデルは、テキストのみの適応とパラメータ効率のよいASR微調整によって、ラベルなしのテキストを活用することができる。 ゼロショット設定でベースラインよりも17%のWER削減を実現し,ハイリソース言語からの言語間移動を示す。
• 参考スコア（独自算出の注目度）: 25.566285376879094
• License:
• Abstract: Automatic speech recognition (ASR) for low-resource languages remains a challenge due to the scarcity of labeled training data. Parameter-efficient fine-tuning and text-only adaptation are two popular methods that have been used to address such low-resource settings. In this work, we investigate how these techniques can be effectively combined using a multilingual multimodal model like SeamlessM4T. Multimodal models are able to leverage unlabeled text via text-only adaptation with further parameter-efficient ASR fine-tuning, thus boosting ASR performance. We also show cross-lingual transfer from a high-resource language, achieving up to a relative 17% WER reduction over a baseline in a zero-shot setting without any labeled speech.
• Abstract（参考訳）: 低リソース言語のための音声認識(ASR)は、ラベル付きトレーニングデータの不足のため、依然として課題である。 パラメータ効率の良い微調整とテキストのみの適応は、そのような低リソース設定に対処するために使われてきた2つの一般的な方法である。 本研究では,SeamlessM4Tのような多言語マルチモーダルモデルを用いて,これらの手法を効果的に組み合わせる方法について検討する。 マルチモーダルモデルは、テキストのみの適応により、パラメータ効率のよいASR微調整により、ラベルなしテキストを活用できるため、ASRの性能が向上する。 また, ラベル付き音声を伴わないゼロショット設定において, ベースラインを最大17%のWER削減を実現し, 高音源言語からの言語間移動を示す。

関連論文リスト

• Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking [68.77659513993507]
  我々は,多言語ASRの精度を向上させるため,単純かつ効果的なN-best再分類手法を提案する。 その結果, 音声認識の精度は8.7%, 6.1%, 単語誤り率は3.3%, 単語誤り率は2.0%であった。
  論文  参考訳（メタデータ） (2024-09-27T03:31:32Z)
• Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition [2.7247388777405597]
  重み付きクロスエントロピーの新たな応用法を提案する。 我々は5つの高ソース言語と1つの低リソース言語でWhisper多言語ASRモデルを微調整する。
  論文  参考訳（メタデータ） (2024-09-25T14:09:09Z)
• Meta-Whisper: Speech-Based Meta-ICL for ASR on Low-Resource Languages [51.12146889808824]
  Meta-Whisperは、低リソース言語の自動音声認識を改善するための新しいアプローチである。 これにより、Whisperは、広範囲の微調整をすることなく、馴染みのない言語で音声を認識できる能力を高める。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Efficient Compression of Multitask Multilingual Speech Models [0.0]
  DistilWhisperは、マルチタスクとマルチ言語機能の利点を維持しながら、これらの言語におけるASRのパフォーマンスギャップを埋めることができる。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-05-02T03:11:59Z)
• Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts [14.999359332108767]
  表現不足言語に対するASRの性能ギャップを埋めるため、DistilWhisperを提案する。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。 その結果,本手法は通常のファインチューニングやLoRAアダプタよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T08:37:30Z)
• Master-ASR: Achieving Multilingual Scalability and Low-Resource Adaptation in ASR with Modular Learning [28.592569051244375]
  METHODNSは、強力な多言語スケーラビリティと低リソース適応性を同時に実現している。 我々のフレームワークは、最先端(SOTA)メソッドよりも30%少ない推論オーバーヘッドで、0.13$sim$2.41低い文字誤り率(CER)を達成する。
  論文  参考訳（メタデータ） (2023-06-23T16:23:00Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• Learning ASR pathways: A sparse multilingual ASR model [31.147484652643282]
  ASR経路は、言語固有のサブネットワーク(パス)を活性化するスパース多言語ASRモデルである。 重なり合うサブネットワークにより、共有パラメータは、共同でマルチリンガルトレーニングをすることで、低リソース言語への知識伝達を可能にする。 提案したASR経路は,高密度モデルと言語に依存しないプルーニングモデルの両方より優れ,低リソース言語の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-09-13T05:14:08Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)
• Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation [63.16500026845157]
  本稿では,対象言語に関する追加知識を組み込む補助課題として,音声からテキストへの翻訳を導入する。 人間の翻訳によるSTの訓練は必要ないことを示す。 低リソースMT(200K例)の擬似ラベルであっても、ST強化転送は直接転送に対して最大8.9%のWER還元をもたらす。
  論文  参考訳（メタデータ） (2020-06-09T19:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。