論文の概要: Beyond Aggregate WER: In-domain Adaptation, Learner Speech, Code-Switching, and Speaker Attribution in Online Spanish Learning Classrooms
- arxiv url: http://arxiv.org/abs/2610.38016v1
- Date: Tue, 27 Oct 2026 22:13:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:05:39.18518
- Title: Beyond Aggregate WER: In-domain Adaptation, Learner Speech, Code-Switching, and Speaker Attribution in Online Spanish Learning Classrooms
- Title(参考訳): Aggregate WER: オンラインスペイン語学習教室におけるドメイン内適応、学習者音声、コードスイッチ、話者属性
- Abstract要約: オンラインL2スパニッシュインタラクションの保留セッションにおいて、プラットフォーム統合、オープンウェイト、適応、商用ASR構成を比較した。
英語は学習者が共有する第一言語であるため、その相互作用はスペイン語のみ、英語のみ、およびコードに切り替えられたターンを含む。
また,Whisper large-v3 と MOSS-Transcribe-Diarize を LoRA に適応する。
- 参考スコア(独自算出の注目度): 0.8252603363637361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic speech recognition (ASR) increasingly supplies transcripts for educational NLP, but aggregate word error rate (WER) can conceal errors concentrated in learner speech, multilingual turns, and speaker attribution. We compare platform-integrated, open-weight, adapted, and commercial ASR configurations on held-out sessions of online L2 Spanish interaction between L1 English learners and their instructors and tutors. Because English is the learner's shared first language, the interactions contain Spanish-only, English-only, and code-switched turns. Evaluation combines overall WER and character error rate (CER), WER disaggregated by speaker role and language context, and diarization error rate (DER). We also adapt Whisper large-v3 and MOSS-Transcribe-Diarize with LoRA using human-corrected in-domain classroom data. MOSS adaptation produced consistent improvements across speaker roles and language contexts, whereas Whisper showed smaller gains. Domain match proved more important than data volume: Larger out-of-domain bilingual and learner corpora did not outperform the smaller classroom corpus, where learner speech and code-switching are embedded in instructor--learner interaction. The open-weight MOSS adapter was competitive with commercial Muse Voice Transcribe on WER and CER and achieved lower system-provided DER on the recordings eligible for each system. Learner, English-only, and code-switched speech remained more difficult than instructor and Spanish-only speech. The findings demonstrate the value of condition-aware evaluation and interactionally matched data for bilingual educational ASR.
- Abstract(参考訳): 自動音声認識(ASR)は、教育用NLPの書き起こしをますます提供するが、集約単語誤り率(WER)は、学習者音声、多言語回転、話者属性に集中した誤りを隠蔽することができる。
プラットフォーム統合,オープンウェイト,適応,商用のASR構成を,L1英語学習者とその教官と家庭教師間のオンラインL2スペイン語対話の開催セッションで比較した。
英語は学習者が共有する第一言語であるため、その相互作用はスペイン語のみ、英語のみ、およびコードに切り替えられたターンを含む。
評価は、全体的なWERと文字誤り率(CER)、話者の役割と言語コンテキストによって分解されたWER、ダイアリゼーションエラー率(DER)を組み合わせる。
また,Whisper large-v3 と MOSS-Transcribe-Diarize を LoRA に適応する。
MOSS適応は話者の役割と言語コンテキストに一貫した改善をもたらしたが、Whisperはより少ない利得を示した。
領域外バイリンガルと学習者コーパスは、学習者スピーチとコードスイッチングがインストラクター-ラーナーインタラクションに埋め込まれている小さな教室コーパスよりも優れていなかった。
オープンウェイトなMOSSアダプタは、WERとCERのMuse Voice Transcribeと競合し、各システムに該当する録音でより低いシステム提供のDERを達成した。
学習者、英語のみ、そしてコード変更されたスピーチは、インストラクターやスペイン語のみのスピーチよりも難しかった。
その結果,バイリンガル教育ASRにおける条件認識評価と相互一致したデータの価値が示された。
関連論文リスト
- MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。
この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。
本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2026-04-17T10:39:01Z) - Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning [5.770962296305264]
多様な言語とアクセントをサポートするコンテキスト対応多言語ASRフレームワークを提案する。
提案手法は,フリーズした音声エンコーダと,軽量プロジェクションモジュールによるデコーダのみの言語モデルを組み合わせたものである。
文脈入力は認識品質を継続的に改善することを示す。
論文 参考訳(メタデータ) (2026-03-06T17:37:06Z) - Multimodal In-context Learning for ASR of Low-resource Languages [16.078416187950207]
大規模言語モデル(LLM)を用いたインコンテキスト学習(ICL)はこの問題に対処する。
本稿では,マルチモーダル ICL (MICL) を用いて,LLM が未知言語を学習できるかどうかを検討する。
言語間移動学習は、訓練なしでターゲット言語でのMICL効率を向上させる。
論文 参考訳(メタデータ) (2026-01-09T10:52:23Z) - Error-preserving Automatic Speech Recognition of Young English Learners' Language [6.491559928368298]
言語学習者が実践しなければならない中心的なスキルの1つは、言語を話すことである。
近年の音声技術と自然言語処理の進歩は、彼らの発話スキルを実践する新しいツールの開発を可能にしている。
そこで我々は,若手学習者による自然発話に対処し,誤りを抑えるASRシステムを構築した。
論文 参考訳(メタデータ) (2024-06-05T13:15:37Z) - Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳(メタデータ) (2023-11-25T17:05:21Z) - LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and
Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。
ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文 参考訳(メタデータ) (2022-11-05T04:03:55Z) - LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。
マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
論文 参考訳(メタデータ) (2022-06-05T04:03:12Z) - Improving Self-Supervised Speech Representations by Disentangling
Speakers [56.486084431528695]
音声における自己教師付き学習は、大規模無意味な音声コーパス上で、音声表現ネットワークを訓練することを含む。
話者を遠ざけることは非常に困難であり、スピーカー情報を削除すればコンテンツも失われる可能性がある。
本稿では,コンテンツが著しく失われることなく,話者のゆがみを解消できる新しいSSL手法を提案する。
論文 参考訳(メタデータ) (2022-04-20T04:56:14Z) - Mandarin-English Code-switching Speech Recognition with Self-supervised
Speech Representation Models [55.82292352607321]
コードスイッチング(英: Code-switching, CS)は、複数の言語が文内で使用される日常会話において一般的である。
本稿では、最近成功した自己教師付き学習(SSL)手法を用いて、CSを使わずに多くのラベルなし音声データを活用する。
論文 参考訳(メタデータ) (2021-10-07T14:43:35Z) - Learning not to Discriminate: Task Agnostic Learning for Improving
Monolingual and Code-switched Speech Recognition [12.354292498112347]
本稿では、ドメイン逆学習を用いてタスクモデルを訓練することにより、これまでの作業よりもさらに改善する。
提案手法は,単語誤り率(WER)を3つの言語対に対して単言語およびコード切替テストセットで削減する。
論文 参考訳(メタデータ) (2020-06-09T13:45:30Z) - CSTNet: Contrastive Speech Translation Network for Self-Supervised
Speech Representation Learning [11.552745999302905]
7000の言語のうち、半数以上が絶滅の危機にさらされている。
音声に対応するテキスト翻訳は比較的容易である。
音声から言語表現を抽出できる畳み込みニューラルネットワークオーディオエンコーダを構築する。
論文 参考訳(メタデータ) (2020-06-04T12:21:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。