論文の概要: Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)

• arxiv url: http://arxiv.org/abs/2606.07608v1
• Date: Fri, 29 May 2026 13:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.774368
• Title: Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)
• Title（参考訳）: スイス・ドイツASRにおけるWhisperの字幕調整:ベンチマーク汚染、コンベンションミスマッチ、25.6% WER (13.8% cWER)
• Abstract要約: 我々は、標準ドイツ語字幕と組み合わせた1,367時間の放送音声を弱監督として使用し、OpenAIのWhisper large-v3をスイスドイツ語ASR向けに微調整した。 我々の最良のモデルは、厳密な解離データに対する正直な評価において、全スイスドイツ語方言テストセット(ASGDTS)で25.6%のWERを達成する。 ASGDTSテストセットで自動訓練されたバニラ・ウィスパーのモデルは、スイスの0つのデータで13.88%のWERを達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a systematic study of fine-tuning OpenAI's Whisper large-v3 for Swiss German ASR, using 1,367 hours of broadcast speech paired with Standard German subtitles as weak supervision. Through 16 iterative training runs on an NVIDIA DGX Spark (Grace Blackwell, 128 GB unified memory, up to 1 PFLOP FP4), we compare LoRA and full fine-tuning of the 1.55B-parameter model, investigate hallucination root causes, and quantify the effect of data quality, subtitle alignment, and training strategy. Our best model achieves 25.6% measured WER on the All Swiss German Dialects Test Set (ASGDTS) in an honest evaluation on strictly disjoint data. A harmonized error analysis separating genuine errors from valid stylistic variation (tense, word order, Swiss orthography) yields a content WER (cWER) of 13.8%, counting only actual recognition failures. Bias-corrected estimation reduces this to 8.5%, suggesting the true error rate is roughly one third of measured WER. We demonstrate that published state-of-the-art Swiss German ASR results (17.1-17.5% WER) are inflated by benchmark contamination: a vanilla Whisper model self-trained on the ASGDTS test set with zero Swiss German data achieves 13.88% WER, surpassing all published systems. Experiments with Phi-4-multimodal show an even stronger memorization effect (3.9% WER), revealing that the benchmark primarily measures convention matching rather than dialectal comprehension. We release two models, a LoRA adapter (25.32% WER, 13.9% cWER) and a full fine-tuned model (25.60% WER, 13.8% cWER), among the few publicly available, honestly evaluated Whisper models for Swiss German, under Apache 2.0 with full reproducibility, requiring no institutional data agreements.
• Abstract（参考訳）: 我々は,標準ドイツ語字幕と組み合わせた1,367時間の放送音声を弱監督として使用し,微調整したOpenAIのWhisper large-v3をスイスドイツ語ASR向けに体系的に検討した。 16の反復トレーニングはNVIDIA DGX Spark(Grace Blackwell、128GBの統一メモリ、1PFLOP FP4)上で実行され、LoRAと1.55Bパラメータモデルの完全な微調整を比較し、幻覚の根本原因を調査し、データ品質、サブタイトルアライメント、トレーニング戦略の効果を定量化する。 我々の最良のモデルは、厳密な解離データに対する正直な評価において、全スイスドイツ語方言テストセット(ASGDTS)で25.6%のWERを達成する。 真のエラーを有効なスタイル変化(センス、単語順、スイス正書法)から分離する調和化されたエラー解析では、13.8%のコンテンツWER(cWER)が得られ、実際の認識障害のみをカウントする。 バイアス補正推定によりこれを8.5%に削減し、真の誤差率は測定されたWERのおよそ3分の1であることを示した。 我々は、現在最先端のスイス・ドイツ ASR の結果 (17.1-17.5% WER) がベンチマーク汚染によって膨らませられていることを実証した: スイス・ドイツのデータがゼロのASGDTSテストセットで自己訓練されたバニラ・ウィスパーモデルは、全ての発行されたシステムを上回る13.88% WERを達成する。 Phi-4-multimodalの実験では、より強い記憶効果(3.9% WER)が示され、このベンチマークは方言の理解よりも規則マッチングを主に測定していることが明らかとなった。 LoRAアダプタ (25.32% WER, 13.9% cWER) とフル微調整モデル (25.60% WER, 13.8% cWER) の2つのモデルをリリースしている。

関連論文リスト

• Robust Assamese Speech Recognition through Controlled Fine-Tuning of Whisper Models [1.4095958360608893]
  本稿ではMozilla Common Voice 24.0-Assamese corpusで学習したWhisper-based Assamese ASRシステムについて述べる。 ハードウェア対応の最適化トレーニングパイプラインは、リソース制約のある環境向けに実装されている。
  論文  参考訳（メタデータ） (2026-07-19T09:54:52Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• BlasBench: An Open Benchmark for Irish Speech Recognition [0.0]
  既存のベンチマークにはアイルランド語が含まれているが、アイルランド語対応のテキスト正規化は適用されていない。 BlasBenchを紹介します。これは、ファダ、レニッション、エクリプシスを保存するスタンドアロンのアイリッシュ・アウェア・ノーマルライザを提供するオープンアセスメントハーネスです。 私たちは、Common Voice Ga-IEとFLEURS ga-IEの4つのアーキテクチャファミリで12のシステムをベンチマークすることで、これを試行しています。
  論文  参考訳（メタデータ） (2026-04-12T17:17:54Z)
• Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation [0.0]
  Pashtoは、約6000～8000万人が話すが、共有公開テストセット上での多言語自動音声認識(ASR)のベンチマークは公開されていない。 本稿では,公開Pashtoデータに対する最初の再現可能なマルチモデル評価を行い,ゼロショットASR,スクリプトレベルの故障,微調整モデルのクロスドメイン評価について報告する。
  論文  参考訳（メタデータ） (2026-04-06T11:23:42Z)
• Swiss-Bench SBP-002: A Frontier Model Comparison on Swiss Legal and Regulatory Tasks [0.0]
  既存のベンチマークでは、適用されたスイスの規制タスクにおけるフロンティアモデルのパフォーマンスを評価していない。 スイス・ベンチ(Swiss-Bench)は、スイスの3つの規制ドメインにまたがる395のエキスパート工芸品のトリンガルベンチマークである。 私は、構造化された3次元スコアリングフレームワークを使用して、2026年3月からの10つのフロンティアモデルを評価します。
  論文  参考訳（メタデータ） (2026-03-24T18:41:07Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• The ML-SUPERB 2.0 Challenge: Towards Inclusive ASR Benchmarking for All Language Varieties [107.57160730151975]
  我々は200以上の言語、アクセント、方言のデータからなる新しいテストスイートを構築し、SOTA多言語音声モデルを評価する。 その結果, LIDの精度は23%, CERは18%向上した。 アクセントと方言のデータでは、最も良い提出は30.2%低いCERと15.7%高いLIDの精度を得た。
  論文  参考訳（メタデータ） (2025-09-08T18:42:36Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)
• Advancing STT for Low-Resource Real-World Speech [0.0]
  本稿では,300時間アノテート音声コーパスであるSRB-300データセットを提案する。 様々な現実的な環境で記録された全てのスイスの方言を自然に会話する。 SRB-300データセット上で複数のOpenAI Whisperモデルを微調整し、以前のゼロショットパフォーマンスメトリクスよりも顕著な拡張を実現しました。
  論文  参考訳（メタデータ） (2025-06-10T14:22:48Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• Exploration of End-to-End ASR for OpenSTT -- Russian Open Speech-to-Text Dataset [73.66530509749305]
  本稿では,ロシア最大のオープンソース言語データセットであるOpenSTTのエンドツーエンド自動音声認識システム(ASR)について検討する。 CTC/Attention, RNN-Transducer, Transformer など,既存のエンドツーエンドアプローチの評価を行った。 利用可能な3つの検証セット(電話、YouTube、書籍)について、私たちの最高のエンドツーエンドモデルは、それぞれ34.8%、19.1%、および18.1%のワードエラー率(WER)を達成する。
  論文  参考訳（メタデータ） (2020-06-15T10:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。