論文の概要: Agentic Data Sampling Framework for Multilingual ASR via Linguistic-Aware Error-Driven Optimization
- arxiv url: http://arxiv.org/abs/2610.36538v1
- Date: Tue, 27 Oct 2026 02:49:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.225281
- Title: Agentic Data Sampling Framework for Multilingual ASR via Linguistic-Aware Error-Driven Optimization
- Title(参考訳): 言語学的誤り駆動最適化による多言語ASRのためのエージェントデータサンプリングフレームワーク
- Abstract要約: 多言語自動音声認識のための言語対応エージェントデータサンプリングフレームワークを提案する。
我々は、Whisper-mediumをASRバックボーンとして12の共通音声言語で実験を行った。
その結果,本手法はトレーニングデータが少なく,計算資源も少ないため,実データ学習よりも性能がよいことがわかった。
- 参考スコア(独自算出の注目度): 18.66296910063344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual automatic speech recognition (ASR) has achieved rapid progress with large-scale pretrained models and multilingual speech corpora. Previous studies have proved the pivotal role of data sampling in multilingual ASR performance. However, existing sampling strategies largely rely on time-consuming manual, heuristic-based designs. To address this, we propose a linguistic-aware agentic data sampling framework that introduces a data sampling LLM agent into the multilingual ASR training loop. The agent is driven by a linguistically grounded rubric that analyzes ASR errors from phonological, morphological, and syntactic perspectives, and uses the resulting feedback together with training statistics, budget constraints, and algorithm profiles to select domain-level, sample-level, and token-level sampling strategies. This design turns evaluation results into adaptive data-selection decisions rather than treating WER/CER as final endpoints only. We conduct experiments on twelve Common Voice languages using Whisper-medium as the ASR backbone. The results show that our method achieves performance better than full-data training while using less training data and lower computational resources, and substantially accelerates training convergence compared to conventional sampling strategies.
- Abstract(参考訳): 多言語自動音声認識(ASR)は,大規模事前学習モデルと多言語音声コーパスによって急速に進歩している。
従来の研究では、多言語ASRの性能において、データサンプリングが重要な役割を担っていることが証明されている。
しかし、既存のサンプリング戦略は、主に時間を要する手作業によるヒューリスティックな設計に依存している。
そこで本研究では,多言語ASR学習ループにデータサンプリング LLM エージェントを導入する言語対応エージェントデータサンプリングフレームワークを提案する。
このエージェントは、音声学的、形態学的、構文学的観点からASRエラーを分析し、トレーニング統計、予算制約、アルゴリズムプロファイルとともに得られたフィードバックを用いて、ドメインレベル、サンプルレベル、トークンレベルのサンプリング戦略を選択する言語的に基礎付けられたルーリックによって駆動される。
この設計は、WER/CERを最終エンドポイントとしてのみ扱うのではなく、評価結果を適応的なデータ選択決定に変換する。
我々は、Whisper-mediumをASRバックボーンとして12の共通音声言語で実験を行った。
その結果,本手法はトレーニングデータが少なく,計算資源の少ないフルデータ学習よりも性能が向上し,従来のサンプリング手法に比べてトレーニング収束が著しく向上することがわかった。
関連論文リスト
- Strategically Diverse Sampling for Self-Training [76.9820262553889]
自己学習データは通常、IID応答のサンプリングと、主に正確性のためにフィルタリングによって構築される。
自己学習データ構築の代替原則として, ある問題に対するアプローチの戦略的多様性や実体的変動について検討する。
アプローチの多様性は、正当性や教師の規模よりも重要であることを示す。
論文 参考訳(メタデータ) (2026-09-25T17:35:05Z) - GigaAM Multilingual: Foundation Model for Underrepresented Languages [63.406165255277195]
We present GigaAM Multilingual, a Conformer encoder pre-trained on 200M hours of audio using a HuBERT-style objective。
我々は,事前学習時のクラスタレベルのデータバランス戦略と,微調整時のドメイン認識サンプリング手法を導入し,見出し言語の優位性を緩和する。
論文 参考訳(メタデータ) (2026-07-11T15:48:03Z) - Breaking the Transcription Bottleneck: Fine-tuning ASR Models for Extremely Low-Resource Fieldwork Languages [1.758729398520438]
MMS と XLS-R の2つの細調整された多言語 ASR モデルの性能を,5つの型式的に多様な低リソース言語でベンチマークした。
XLS-Rはトレーニングデータが1時間を超えるとパリティ性能を示すのに対し,MMSは極端に少ないトレーニングデータが得られる場合に最適であることがわかった。
論文 参考訳(メタデータ) (2025-06-20T19:59:49Z) - SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである
SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2024-09-16T16:04:16Z) - Unveiling the Potential of LLM-Based ASR on Chinese Open-Source Datasets [22.29915616018026]
LLM(Large Language Models)は、様々なNLPタスクにおいて非並列の有効性を示す。
本研究の目的は,音声エンコーダ,LLM,プロジェクタモジュールの様々な構成の影響を評価することである。
本研究では,3段階の学習手法を導入し,モデルが聴覚情報とテキスト情報を整合させる能力を高めることを目的とした。
論文 参考訳(メタデータ) (2024-05-03T14:35:58Z) - Strategies for improving low resource speech to text translation relying
on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。
本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文 参考訳(メタデータ) (2023-05-31T21:58:07Z) - Deploying self-supervised learning in the wild for hybrid automatic
speech recognition [20.03807843795386]
自己教師付き学習(SSL)法は自動音声認識(ASR)において非常に成功したことが証明されている。
我々は、データ前処理からストリーミングハイブリッドASRモデルのデプロイまで、SSLの未転写オーディオデータを利用する方法を示す。
論文 参考訳(メタデータ) (2022-05-17T19:37:40Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z) - ATCSpeechNet: A multilingual end-to-end speech recognition framework for
air traffic control systems [15.527854608553824]
ATCSpeechNetは、航空交通制御システムにおけるコミュニケーション音声を人間可読テキストに変換する問題に取り組むために提案されている。
特徴工学や辞書を使わずに、音声波形を直接テキストに変換するエンドツーエンドのパラダイムが開発されている。
ATCSpeech corpusの実験結果から,非常に小さなラベル付きコーパスを用いて,提案手法が高い性能を実現することが示された。
論文 参考訳(メタデータ) (2021-02-17T02:27:09Z) - Improving speech recognition models with small samples for air traffic
control systems [9.322392779428505]
本研究では, 小さなトレーニングサンプルの課題に対処すべく, 事前学習とトランスファー学習に基づく新しいトレーニング手法を提案する。
3つの実際のATCデータセットを使用して、提案されたASRモデルとトレーニング戦略を検証する。
実験の結果,ASRの性能は3つのデータセットで大幅に向上した。
論文 参考訳(メタデータ) (2021-02-16T08:28:52Z) - Adversarial Meta Sampling for Multilingual Low-Resource Speech
Recognition [159.9312272042253]
多言語メタラーニングASR(MML-ASR)を改善するための新しい逆メタサンプリング(AMS)アプローチを開発しています。
AMSは、各ソース言語のタスクサンプリング確率を適応的に決定する。
MML-ASRにAMSを適用すると、2つの多言語データセットの実験結果が大幅にパフォーマンス向上します。
論文 参考訳(メタデータ) (2020-12-22T09:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。