論文の概要: BlasBench: An Open Benchmark for Irish Speech Recognition

• arxiv url: http://arxiv.org/abs/2604.10736v2
• Date: Thu, 16 Apr 2026 21:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 13:38:49.273404
• Title: BlasBench: An Open Benchmark for Irish Speech Recognition
• Title（参考訳）: BlasBench: アイルランド語の音声認識のためのオープンベンチマーク
• Abstract要約: 既存のベンチマークにはアイルランド語が含まれているが、アイルランド語対応のテキスト正規化は適用されていない。 BlasBenchを紹介します。これは、ファダ、レニッション、エクリプシスを保存するスタンドアロンのアイリッシュ・アウェア・ノーマルライザを提供するオープンアセスメントハーネスです。 私たちは、Common Voice Ga-IEとFLEURS ga-IEの4つのアーキテクチャファミリで12のシステムをベンチマークすることで、これを試行しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multilingual benchmarks include Irish among dozens of languages but apply no Irish-aware text normalisation, leaving reliable and reproducible ASR comparison impossible. We introduce BlasBench, an open evaluation harness that provides a standalone Irish-aware normaliser preserving fadas, lenition, and eclipsis; a reproducible scoring harness and per-utterance predictions released for all evaluated runs. We pilot this by benchmarking 12 systems across four architecture families on Common Voice ga-IE and FLEURS ga-IE. All Whisper variants exceed 100% WER through insertion-driven hallucination. Microsoft Azure reaches 22.2% WER on Common Voice and 57.5% on FLEURS; the best open model, Omnilingual ASR 7B, reaches 30.65% and 39.09% respectively. Models fine-tuned on Common Voice degrade 33-43 points moving to FLEURS, while massively multilingual models degrade only 7-10 - a generalisation gap that single-dataset evaluation misses.
• Abstract（参考訳）: 既存の多言語ベンチマークにはアイルランド語が含まれているが、アイルランド語対応のテキスト正規化は適用せず、信頼性と再現可能なASR比較は不可能である。 BlasBenchを紹介します。これは、ファダ、レニッション、エクリプシスを保存するスタンドアロンのアイリッシュ対応正規表現器を提供するオープンアセスメントハーネスで、再現可能なスコアリングハーネスと、すべての評価実行でリリースされる発話毎の予測を提供する。 私たちは、Common Voice Ga-IEとFLEURS ga-IEの4つのアーキテクチャファミリで12のシステムをベンチマークすることで、これを試行しています。 すべてのウィスパー変種は挿入駆動幻覚によって100% WERを超える。 Microsoft Azureはコモンボイスで22.2%、FLEURSで57.5%に達し、最高のオープンモデルであるOmnilingual ASR 7Bは30.65%、39.09%に達した。 Common Voiceで微調整されたモデルは、FLEURSに移行した33-43点を分解し、巨大な多言語モデルは7-10点しか分解しなかった。

関連論文リスト

• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER) [0.0]
  我々は、標準ドイツ語字幕と組み合わせた1,367時間の放送音声を弱監督として使用し、OpenAIのWhisper large-v3をスイスドイツ語ASR向けに微調整した。 我々の最良のモデルは、厳密な解離データに対する正直な評価において、全スイスドイツ語方言テストセット(ASGDTS)で25.6%のWERを達成する。 ASGDTSテストセットで自動訓練されたバニラ・ウィスパーのモデルは、スイスの0つのデータで13.88%のWERを達成した。
  論文  参考訳（メタデータ） (2026-05-29T13:43:57Z)
• PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech [0.0]
  単一ASRラウンドトリップ単語誤り率(WER)に依存する低リソース非ラテン文字言語に対するテキスト音声による評価は失敗する可能性がある これらのケースを分離するレポートフレームワークであるINSVを紹介します。 我々は、Pashto TTSのベンチマークであるPashtoTTS-BenchとしてINSV-Aをインスタンス化する。
  論文  参考訳（メタデータ） (2026-05-26T13:03:20Z)
• Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation [0.0]
  Pashtoは、約6000～8000万人が話すが、共有公開テストセット上での多言語自動音声認識(ASR)のベンチマークは公開されていない。 本稿では,公開Pashtoデータに対する最初の再現可能なマルチモデル評価を行い,ゼロショットASR,スクリプトレベルの故障,微調整モデルのクロスドメイン評価について報告する。
  論文  参考訳（メタデータ） (2026-04-06T11:23:42Z)
• Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR [1.7802147489386628]
  本稿ではシンガポールの言語景観に合わせたコンパクトな多言語自動音声認識(ASR)モデルであるPolyglot-Lionを紹介する。 提案手法は,Qwen3-ASR-0.6BとQwen3-ASR-1.7Bを公開音声コーパスのみに微調整することで得られる。 4つの言語にまたがる12のベンチマークで、Polyglot-Lion-1.7Bは平均エラーレート14.85に達し、MERaLiON-2-10B-ASR (14.32)と競合する。 推論スループットはMERaLiONの0.10 s/sampleより約20倍速い
  論文  参考訳（メタデータ） (2026-03-17T07:09:42Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• VocSim: A Training-free Benchmark for Zero-shot Content Identity in Single-source Audio [1.0791267046450075]
  VocSimは、凍結埋め込みの固有の幾何学的アライメントを探索するトレーニング不要のベンチマークである。 VocSimは、人間のスピーチ、動物の発声、環境音にまたがる19のコーパスから125万のソースクリップを集約する。
  論文  参考訳（メタデータ） (2025-12-10T22:13:12Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• The ML-SUPERB 2.0 Challenge: Towards Inclusive ASR Benchmarking for All Language Varieties [107.57160730151975]
  我々は200以上の言語、アクセント、方言のデータからなる新しいテストスイートを構築し、SOTA多言語音声モデルを評価する。 その結果, LIDの精度は23%, CERは18%向上した。 アクセントと方言のデータでは、最も良い提出は30.2%低いCERと15.7%高いLIDの精度を得た。
  論文  参考訳（メタデータ） (2025-09-08T18:42:36Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• IRLBench: A Multi-modal, Culturally Grounded, Parallel Irish-English Benchmark for Open-Ended LLM Reasoning Evaluation [3.9530780161144667]
  本稿では、英語とアイルランド語を併用したIRLBenchについて紹介する。 私たちのベンチマークは、2024年のアイリッシュリービング認定試験から開発された12の代表的な被験者で構成されています。 モデルが有効なアイルランド語の応答を80%以下に抑え、正しい答えが55.8%であるのに対し、最高のパフォーマンスのモデルでは76.2%が英語である。
  論文  参考訳（メタデータ） (2025-05-16T00:02:05Z)
• Who Can Withstand Chat-Audio Attacks? An Evaluation Benchmark for Large Audio-Language Models [60.72029578488467]
  アドリラルオーディオ攻撃は、人間と機械の相互作用における大きなオーディオ言語モデル(LALM)の利用の増加に重大な脅威をもたらす。 本稿では,4種類の音声攻撃を含むChat-Audio Attacksベンチマークを紹介する。 Gemini-1.5-Pro, GPT-4oなど, 音声対話機能を有する6つの最先端LALMの評価を行った。
  論文  参考訳（メタデータ） (2024-11-22T10:30:48Z)
• MIRAGE-Bench: Automatic Multilingual Benchmark Arena for Retrieval-Augmented Generation Systems [43.19298196163617]
  両世界の長所を結合する簡単な手法を提案する。 MIRAGE-Benchは、ウィキペディアの18の多言語のための合成アリーナベースのRAGベンチマークである。
  論文  参考訳（メタデータ） (2024-10-17T16:18:49Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Developing a Multilingual Dataset and Evaluation Metrics for Code-Switching: A Focus on Hong Kong's Polylingual Dynamics [0.5700195008916903]
  我々は,Multi-Agent Data Generation Framework (MADGF) を用いた混合カントンと英語(MCE)音声の34.8時間データセットを開発した。 我々は,オープンソースの多言語自動音声認識(ASR)モデルであるWhisperをMCEデータセットで微調整し,印象的なゼロショット性能を実現した。
  論文  参考訳（メタデータ） (2023-10-27T08:01:55Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。