論文の概要: CantoASR: Prosody-Aware ASR-LALM Collaboration for Low-Resource Cantonese

• arxiv url: http://arxiv.org/abs/2511.04139v1
• Date: Thu, 06 Nov 2025 07:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.349434
• Title: CantoASR: Prosody-Aware ASR-LALM Collaboration for Low-Resource Cantonese
• Title（参考訳）: CantoASR:低電源カントンのためのプロソディー対応ASR-LALMコラボレーション
• Authors: Dazhong Chen, Yi-Cheng Lin, Yuchen Huang, Ziwei Gong, Di Jiang, Zeying Xie, Yi R., Fung,
• Abstract要約: CantoASRは音響特徴抽出のための強制アライメントとLoRAファインチュア・ウィスパーを統合し、音色識別を改善している。 自発的カントンデータによる評価では、Whisper-Large-V3よりもかなりのCERゲインを示した。
• 参考スコア（独自算出の注目度）: 12.212610339289453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic speech recognition (ASR) is critical for language accessibility, yet low-resource Cantonese remains challenging due to limited annotated data, six lexical tones, tone sandhi, and accent variation. Existing ASR models, such as Whisper, often suffer from high word error rates. Large audio-language models (LALMs), in contrast, can leverage broader contextual reasoning but still require explicit tonal and prosodic acoustic cues. We introduce CantoASR, a collaborative ASR-LALM error correction framework that integrates forced alignment for acoustic feature extraction, a LoRA-finetuned Whisper for improved tone discrimination, and an instruction-tuned Qwen-Audio for prosody-aware correction. Evaluations on spontaneous Cantonese data show substantial CER gains over Whisper-Large-V3. These findings suggest that integrating acoustic cues with LALM reasoning provides a scalable strategy for low-resource tonal and dialectal ASR.
• Abstract（参考訳）: 言語アクセシビリティには自動音声認識(ASR)が重要であるが、限られたアノテートデータ、6つの語彙音、トーンサンディー、アクセント変動により、低リソースのカントンは依然として困難である。 Whisperのような既存のASRモデルは、しばしば高い単語誤り率に悩まされる。 対照的に、大きな音声言語モデル(LALM)は、より広い文脈の推論を活用できるが、明示的な音節と韻律的な音響的手がかりを必要とする。 音響特徴抽出のための強制アライメントを統合した協調的ASR-LALM誤り訂正フレームワークであるCandoASRと、トーン識別を改善するLoRAファインチュアWhisperと、韻律認識補正のための命令調整されたQwen-Audioを紹介する。 自発的カントンデータによる評価では、Whisper-Large-V3よりもかなりのCERゲインを示した。 これらの結果から,LALM推論と音響的手がかりの統合は,低音源音節と方言のASRにスケーラブルな戦略をもたらすことが示唆された。

関連論文リスト

• Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses [71.34350093068473]
  本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。 我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。 我々のフレームワークは、標準のASRベースラインよりもLRS2ベンチマークで57.7%のエラー率を獲得していますが、シングルストリームのGERアプローチでは10%のゲインしか達成できません。
  論文  参考訳（メタデータ） (2025-10-15T08:27:16Z)
• MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
  話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。 本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T09:01:08Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation [15.520180125182756]
  近年,大規模言語モデル(LLM)への音声情報統合の進歩により,音声認識(ASR)の精度が大幅に向上した。 既存の手法はアクセントのような様々な音響条件下での音声エンコーダの能力に制約されることが多い。 LA-RAGは、LLMベースのASRのための新しいRAGパラダイムである。
  論文  参考訳（メタデータ） (2024-09-13T07:28:47Z)
• MEDSAGE: Enhancing Robustness of Medical Dialogue Summarization to ASR Errors with LLM-generated Synthetic Dialogues [41.23757609484281]
  音声認識エラーは、要約のような下流タスクのパフォーマンスを著しく低下させる可能性がある。 大規模言語モデルを用いたデータ拡張のための合成サンプル生成手法であるMEDSAGEを提案する。 LLMは、ASRノイズを効果的にモデル化することができ、このノイズデータをトレーニングプロセスに組み込むことで、医用対話要約システムの堅牢性と精度が大幅に向上する。
  論文  参考訳（メタデータ） (2024-08-26T17:04:00Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Segmenting Subtitles for Correcting ASR Segmentation Errors [11.854481771567503]
  低リソース言語に対するASRモデルの音響的セグメンテーションを補正するモデルを提案する。 ASRアコースティックセグメンテーションを補正するためのニューラルネットワークタギングモデルをトレーニングし、下流のパフォーマンスを改善することを示します。
  論文  参考訳（メタデータ） (2021-04-16T03:04:10Z)
• How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
  Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。