論文の概要: Vimarsha: Faithful ASR Evaluation for Indian Languages with Demographic Diversity, In-the-Wild Audio and Spelling Variations
- arxiv url: http://arxiv.org/abs/2609.24199v1
- Date: Mon, 21 Sep 2026 07:14:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.12182
- Title: Vimarsha: Faithful ASR Evaluation for Indian Languages with Demographic Diversity, In-the-Wild Audio and Spelling Variations
- Title（参考訳）: Vimarsha: デモグラフィック多様性,インザワイルドオーディオ,スペル変化を有するインドの言語に対する忠実なASR評価
- Abstract要約: ヴィマルシャ (Vimarsha) は、インドの22の言語にまたがる100時間のベンチマークである。
人口動態的に多様なオンフィールド録音と、音の難易度を考慮に入れた地中オーディオを組み合わせている。
- 参考スコア（独自算出の注目度）: 18.33691489848216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluation benchmarks for Indian language automatic speech recognition (ASR) suffer from two systematic biases: optimistic scores from clean, controlled audio conditions, and pessimistic scores from overly rigid transcription standards that penalize valid linguistic variations. We introduce Vimarsha, a 100-hour benchmark spanning all 22 scheduled Indian languages, designed to address both distortions. Vimarsha combines demographically diverse on-field recordings with carefully mined in-the-wild audio selected for acoustic difficulty, alongside a lattice of variations framework that encodes multiple valid transcriptions per utterance. Evaluations of 10 state-of-the-art ASR models reveal substantial shifts in model rankings under realistic conditions, geographic and demographic performance disparities, and systematic failure modes across speaking rates and acoustic environments.
- Abstract（参考訳）: インドの言語自動音声認識(ASR)の評価ベンチマークは、クリーンで制御された音声条件からの楽観的なスコアと、有効な言語的バリエーションを罰する過度に厳格な転写基準からの悲観的なスコアの2つの体系的なバイアスに悩まされている。
両歪みに対処するために設計された、22の予定言語すべてにまたがる100時間のベンチマークであるVimarshaを紹介します。
Vimarshaは、音声の難易度を考慮し、音声ごとに複数の有効な書き起こしを符号化する、様々なバリエーションのフレームワークを組み合わさっている。
10種類の最先端のASRモデルの評価は、現実的な条件下でのモデルランキング、地理的および人口統計学的性能の相違、発話速度と音響環境における系統的故障モードの大幅な変化を示す。
関連論文リスト
- Qwen-Audio-3.0-ASR Technical Report [52.28849889799101]
本稿では,Mixture-of-Experts (MoE) LLM-based ASRシステムであるQwen-Audio-3.0-ASRを提案する。
Qwen-Audio-3.0-ASRは8つの主要方言領域にまたがる30の言語と16の中国語方言の転写をサポートしている。
レイテンシに敏感なアプリケーションのための専用ストリーミング変種Qwen-Audio-3.0-ASR-Streamingを開発した。
論文 参考訳（メタデータ） (2026-09-07T14:30:56Z) - Voice of India: A Large-Scale Benchmark for Real-World Speech Recognition in India [13.263260192783195]
Voice of India(ボイス・オブ・インディア)は、139の地域クラスタにわたる15の主要なインドの言語をカバーする、未記述の電話会話から構築されたクローズドソースベンチマークである。
データセットには306230の発話が含まれており、スペルのバリエーションを考慮した36691人の話者から合計536時間の音声が含まれている。
論文 参考訳（メタデータ） (2026-04-21T07:02:01Z) - Accent-Invariant Automatic Speech Recognition via Saliency-Driven Spectrogram Masking [1.108292291257035]
本稿ではアクセントと方言の分類を認識パイプラインに統合するアクセント不変のASRフレームワークを提案する。
我々のアプローチは、アクセント固有の手がかりを捉え、その予測に最も影響を及ぼす領域をマスキングするためにスペクトログラムベースの分類器を訓練し、データ拡張にマスク付きスペクトログラムを使用することである。
ペルシャ語では、複数の地域アクセントにまたがる新たに収集されたデータセットを導入し、ペルシャ語ASRにおけるアクセント変動のシステマティックなベンチマークを確立した。
論文 参考訳（メタデータ） (2025-10-10T16:41:53Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition [49.27067541740956]
モデルアーキテクチャの変更や人口統計情報への依存を伴わずにバイアスを緩和する信頼性指向音声強調脱バイアス手法であるCO-VADAを提案する。
CO-VADAはトレーニングデータに存在するバイアスパターンを反映したトレーニングサンプルを特定し、無関係な属性を変更してサンプルを生成するために音声変換を適用する。
我々のフレームワークは様々なSERモデルや音声変換ツールと互換性があり、SERシステムの公平性を改善するためのスケーラブルで実用的なソリューションとなっている。
論文 参考訳（メタデータ） (2025-06-06T13:25:56Z) - Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities [9.473861847584843]
本稿では,MMS(Massively Multilingual Speech)とWhisper(Whisper)という,最先端の音声認識モデルについて述べる。
インドネシア語音声データを様々な変動群で書き起こすモデルの予測能力について検討する。
論文 参考訳（メタデータ） (2024-10-11T14:07:07Z) - LAHAJA: A Robust Multi-accent Benchmark for Evaluating Hindi ASR Systems [16.143694951047024]
LAHAJAというベンチマークを作成し、様々なトピックやユースケースに関する読み書き音声を含む。
LAHAJAの既存のオープンソースおよび商用モデルを評価し,その性能が劣っていることを確認した。
異なるデータセットを使用してモデルをトレーニングし、優れた話者多様性を持つ多言語データに基づいてトレーニングしたモデルが、既存のモデルよりもかなりのマージンで優れていることを確認する。
論文 参考訳（メタデータ） (2024-08-21T08:51:00Z) - Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳（メタデータ） (2023-11-25T17:05:21Z) - A Deep Dive into the Disparity of Word Error Rates Across Thousands of
NPTEL MOOC Videos [4.809236881780707]
英語のSsim9.8$Kの技術講義とインド・デモグラフィーの様々な部分を表すインストラクターによる書き起こしからなる8740時間の大規模音声データセットのキュレーションについて述べる。
私たちは、キュレートされたデータセットを使用して、インドの多様な話者の人口統計学的特徴にまたがる、YouTube Automatic CaptionsとOpenAI Whisperモデルのパフォーマンスの既存の格差を測定します。
論文 参考訳（メタデータ） (2023-07-20T05:03:00Z) - How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。
我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。
交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
論文 参考訳（メタデータ） (2020-10-22T23:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。