論文の概要: Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation
- arxiv url: http://arxiv.org/abs/2602.18966v1
- Date: Sat, 21 Feb 2026 22:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.423595
- Title: Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation
- Title(参考訳): Whisper: LLM駆動コンテキスト生成によるASRパフォーマンス向上のための裁判所版
- Authors: Yonathan Ron, Shiri Gilboa, Tammuz Dubnov,
- Abstract要約: 本稿では,Whisperの書き起こしを再学習せずに拡張する,新しい多エージェント大規模言語検出モデル(LLM)を提案する。
このパイプラインは、Whisperの最初の書き起こしをインターセプトし、ドメインコンテキストの識別、名前付き認識エンティティ、jargonに特殊なLLMエージェントを適用し、Whisperのデコーダをガイドするコンパクトプロンプトを生成する。
- 参考スコア(独自算出の注目度): 0.5097809301149341
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain-specific speech remains a persistent challenge for automatic speech recognition (ASR), even for state-of-the-art systems like OpenAI's Whisper. We introduce Whisper: Courtside Edition, a novel multi-agent large language model (LLM) pipeline that enhances Whisper transcriptions without retraining. The pipeline intercepts Whisper's initial transcript, applies specialized LLM agents for domain context identification, named entity recognition, and jargon detection, and generates compact prompts that guide Whisper's decoder. Evaluated on 421 NBA basketball commentary segments (a domain characterized by dense proper nouns and technical terminology) our best pipeline achieves a statistically significant 17.0% relative reduction in word error rate (WER; from 0.217 to 0.180, p<0.001). Improvements are observed in 40.1% of segments with degradation in only 7.1%, substantially outperforming direct transcript post-editing. These results demonstrate that prompt-based augmentation can deliver scalable domain adaptation for ASR, offering a practical alternative to costly model fine-tuning.
- Abstract(参考訳): ドメイン固有の音声認識は、OpenAIのWhisperのような最先端システムでさえも、自動音声認識(ASR)にとって永続的な課題である。
Whisper: Courtside Editionは,Whisperの書き起こしをリトレーニングせずに拡張する,新しいマルチエージェント大規模言語モデル(LLM)パイプラインである。
このパイプラインは、Whisperの最初の書き起こしをインターセプトし、ドメインコンテキスト識別、名前付きエンティティ認識、jargon検出のための特殊なLLMエージェントを適用し、Whisperのデコーダをガイドするコンパクトプロンプトを生成する。
NBAバスケットボールのコメンタリーセグメント421(固有名詞と専門用語を特徴とする領域)で評価した結果、我々の最高のパイプラインは、単語誤り率(WER; 0.217から0.180, p<0.001)の統計的に有意な17.0%の相対的な減少を達成する。
改善は、40.1%のセグメントで観察され、わずか7.1%でしか分解されず、直接転写後の編集よりも大幅に優れていた。
これらの結果から,アクシデントベースの拡張により,ASRのスケーラブルなドメイン適応が実現できることが示唆された。
関連論文リスト
- Effective Text Adaptation for LLM-based ASR through Soft Prompt Fine-Tuning [12.676026149146772]
大言語モデル(LLM)は自動音声認識(ASR)を改良した
このようなASRをペアのプロンプトなしでテキストのみのデータに微調整することで、ドメイン固有の知識の有効性を低下させる可能性がある。
ドメイン固有のテキスト適応を強化する2段階のソフトプロンプト微調整戦略を提案する。
論文 参考訳(メタデータ) (2024-12-09T20:22:06Z) - Contextual Biasing to Improve Domain-specific Custom Vocabulary Audio Transcription without Explicit Fine-Tuning of Whisper Model [0.0]
OpenAIのWhisper Automated Speech Recognitionモデルでは、さまざまなデータセットやドメインをまたいだ一般化が優れている。
モデルパラメータを明示的に微調整したり変更したりすることなく、転写精度を向上させる手法を提案する。
論文 参考訳(メタデータ) (2024-10-24T01:58:11Z) - Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition [18.50957174600796]
重なり合う話者の自動音声認識(ASR)の解決策は、音声を分離し、分離された信号でASRを実行することである。
現在、セパレータはASR性能を劣化させるアーティファクトを生産している。
本稿では,音声信号のみを用いた共同学習のための書き起こし不要手法を提案する。
論文 参考訳(メタデータ) (2024-06-13T08:20:58Z) - Keyword-Guided Adaptation of Automatic Speech Recognition [17.011087631073863]
本稿では,Whisper ベースモデルを用いた文脈バイアスによる単語認識の改良手法を提案する。
本稿では,Whisperエンコーダ表現を利用したキーワードスポッティングモデルを用いて,書き起こし処理中にデコーダを誘導するプロンプトを動的に生成する。
その結果,特定のキーワードの認識精度が向上し,全体的な単語誤り率の低減が図られた。
論文 参考訳(メタデータ) (2024-06-04T14:20:38Z) - OpenDAS: Open-Vocabulary Domain Adaptation for 2D and 3D Segmentation [54.98688607911399]
視覚言語モデル(VLM)にドメイン固有の知識を注入するオープン語彙ドメイン適応の課題を提案する。
既存のVLM適応手法では、ベース(トレーニング)クエリのパフォーマンスが向上するが、新しいクエリ上でのVLMのオープンセット能力を維持できない。
我々のアプローチは、新しいクラスにおける元のVLMを一貫して上回るパラメータ効率の手法である。
論文 参考訳(メタデータ) (2024-05-30T15:16:06Z) - Extending Whisper with prompt tuning to target-speaker ASR [18.31992429200396]
ターゲット話者自動音声認識(Target-Speaker Automatic Speech Recognition, ASR)は、ターゲット話者の所望の音声を重なり合う発話から書き起こすことを目的としている。
既存のターゲットスピーカーASR(TS-ASR)の手法のほとんどは、スクラッチからトレーニングするか、事前訓練されたモデルを完全に微調整するものである。
この研究は、パラメータ効率のよい微調整手法であるプロンプトチューニングを利用して、大規模なシングルストーカーASRモデルであるWhisperをTS-ASRに拡張する。
論文 参考訳(メタデータ) (2023-12-13T11:49:16Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Introducing Semantics into Speech Encoders [91.37001512418111]
本研究では,大言語モデルからの意味情報をラベル付き音声書き起こしのない自己教師付き音声エンコーダに組み込む教師なしの手法を提案する。
提案手法は,100時間以上のラベル付き音声書き起こしにおける教師あり手法と類似した性能を実現する。
論文 参考訳(メタデータ) (2022-11-15T18:44:28Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳(メタデータ) (2021-04-19T16:18:00Z) - Improving noise robust automatic speech recognition with single-channel
time-domain enhancement network [100.1041336974175]
単一チャネルの時間領域分割手法により,ASRの性能が大幅に向上することを示す。
単一チャネル雑音の低減はASR性能を向上できることを示す。
論文 参考訳(メタデータ) (2020-03-09T09:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。