論文の概要: How to Reduce Whisper Hallucination

• arxiv url: http://arxiv.org/abs/2609.32560v1
• Date: Sat, 26 Sep 2026 12:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 06:26:12.678224
• Title: How to Reduce Whisper Hallucination
• Title（参考訳）: ウィスパー幻覚を減らす方法
• Abstract要約: ひとつは寛容にライセンスされたチェックポイント、99の言語、言語ごとのチューニングなしです。 42クリップの純ルームトーンでは、whisper-large-v3は61.9%で単語を出力し、100%で何かを出力する。 最高のチェックポイントは、61.9%から2.4%までの沈黙と、99.9%から47.8%までの実際の無声音声に関する言葉を幻覚させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whisper is still what runs in production: one permissively licensed checkpoint, 99 languages, no per-language tuning. But it writes sentences nobody said. On 42 clips of pure room tone, whisper-large-v3 emits words on 61.9% of them and emits something on 100%. The usual response is to distil a student from Whisper pseudo-labels, filtering the hallucinations out of the corpus first, which deletes the evidence while leaving the behaviour in place: the student is fitted to the subset where the teacher was right, and inherits a failure mode absent from its own training data. The second response, adding non-speech audio so the model learns to stay quiet, already ships and works, but teaches suppression without discrimination. The checkpoint best on every non-speech arm here is also the one that recovers the fewest genuinely spoken phrases and deletes 58% of repeated speech. The teacher has to be fixed, with both halves of the signal. Our benchmark scores both at once: 11,852 clips over eight arms, 6,267 synthetic positives, 8,296 clips of real audio that made a production model fail, and FLEURS in 58 languages. We collect 40,891 hallucination phrases in 100 languages, choose a text-to-speech system by measurement, and synthesise those phrases as positives, so the model meets the same text both as something to suppress and as something to transcribe. Across 33 matched pairs of fine-tunes differing only by those positives, adding them lowers word emission on real voice-free audio in 31 pairs and raises phrase recovery in 32; among the 30 pairs that hold English accuracy it is 30 out of 30. The best checkpoint takes hallucination on silence from 61.9% to 2.4% and words over real voice-free audio from 99.9% to 47.8%, while raising phrase recovery from 69.8% to 82.7%. The benchmark, lexicon and synthetic corpus are released at https://huggingface.co/datasets/Scicom-intl/Whisper-Hallucination
• Abstract（参考訳）: ひとつは寛容にライセンスされたチェックポイント、99の言語、言語ごとのチューニングなしです。 しかし、誰も言わなかった文章を書いている。 42クリップの純ルームトーンでは、whisper-large-v3は61.9%で単語を出力し、100%で何かを出力する。 通常の反応は、生徒をWhisperの擬似ラベルから排除し、まず幻覚をコーパスからフィルタリングし、その行動を残しながら証拠を消去することである:学生は教師が正しい部分集合に適合し、自身のトレーニングデータから欠落する障害モードを継承する。 第2の反応は、非音声オーディオを追加することで、モデルが静かであることを学び、既に出荷され、機能するが、差別なしに抑圧を教える。 ここではすべての非音声の腕のチェックポイントが最良であり、最少の音節を復元し、繰り返し発声の58%を削除している。 先生は信号の両端を固定しなければなりません。 ベンチマークでは8本の腕に11,852本のクリップ、6,267本の合成陽性、8,296本の実際のオーディオが失敗し、58の言語でFLEURSが失敗しました。 我々は、100言語で40,891の幻覚句を収集し、測定によってテキスト音声システムを選択し、それらのフレーズを正として合成する。 33対以上で一致したファイントゥーンのペアは、これらの陽性によってのみ異なるため、31対の実際の無声音声における単語の放出を減少させ、32対のフレーズ回復を増大させ、英語の精度を保った30対のうち30対は、30対中30である。 最高のチェックポイントは、沈黙を61.9%から2.4%に、実際の無声音声を99.9%から47.8%に、フレーズ回復を69.8%から82.7%に引き上げる。 ベンチマーク、レキシコン、合成コーパスはhttps://huggingface.co/datasets/Scicom-intl/Whisper-Hallucinationで公開される。

関連論文リスト

• Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection [3.1932005243797867]
  そこで本研究では,デコーダアクティベーションの低ランク投影による幻覚を低減するためのトレーニング不要な推論時間手法を提案する。 我々は,低ランクアクティベーションプロジェクションは,再トレーニングを伴わずにWhisper幻覚を著しく抑制できることを示した。
  論文  参考訳（メタデータ） (2026-09-03T23:33:12Z)
• VocalAffectBench: Evaluating Vocal Emotion Recognition in AI Audio Models [3.031452739909654]
  我々は、AIオーディオモデルが生音声から表現された音声感情を識別できるかどうかを評価するテスト専用ベンチマークであるVocalAffectBenchを紹介する。 このベンチマークには、51人の話者による273本の英語のWAVクリップが含まれており、7つのラベルで合計1.95時間である。 すべてのベースラインは、書き起こしやコンテキストメタデータなしで、オーディオのみから評価される。
  論文  参考訳（メタデータ） (2026-08-28T23:03:43Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Myovox: Reading Speech from the Muscles of the Face [0.0]
  ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。 51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
  論文  参考訳（メタデータ） (2026-07-15T17:00:41Z)
• X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning [62.740127542449166]
  X-Voiceは、任意の音声をクローンし、誰でも30の言語を話せる多言語ゼロショット音声クローンモデルである。 X-Voiceは国際音声アルファベット(IPA)を統一表現として420K時間多言語コーパスで訓練されている。
  論文  参考訳（メタデータ） (2026-05-07T02:57:53Z)
• Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down [9.098293248868503]
  本稿では,非音声セグメントにおけるWhisperの幻覚を軽減する手法を提案する。 本稿では,Whisper-large-v3デコーダにおける各自己注意頭部の幻覚への寄与を,頭部マスクを用いて評価する。 我々の最高の微調整モデルであるCalm-Whisperは、0.1% WER未満の非音声幻覚の80%以上を減少させる。
  論文  参考訳（メタデータ） (2025-05-19T11:04:52Z)
• UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data [54.733889961024445]
  ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。 公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
  論文  参考訳（メタデータ） (2021-01-19T12:53:43Z)
• Improved Noisy Student Training for Automatic Speech Recognition [89.8397907990268]
  雑音学習」は,ネットワーク性能向上のために拡張を活用した反復的自己学習手法である。 自己学習イテレーション間で生成されたデータをフィルタリング、バランス、拡張する効果的な方法を見つけます。 我々は、LibriSpeech 100h (4.74%/12.20%)とLibriSpeech (1.9%/4.1%)で達成された、最先端のクリーン/ノイズテストWERを改善することができる。
  論文  参考訳（メタデータ） (2020-05-19T17:57:29Z)
• End-to-end Whispered Speech Recognition with Frequency-weighted Approaches and Pseudo Whisper Pre-training [130.56878980058966]
  発声音声のエンド・ツー・エンド(E2E)認識に対するいくつかのアプローチを提案する。 我々は,比較的小型のTIMITコーパスを用いて,PER19.8%,CER44.4%の相対的な削減を実現した。 正規または擬似発声音声で事前訓練された優れたE2Eモデルがある限り、比較的小さな発声音声は、合理的に優れたE2E発声音声認識器を得るのに十分である。
  論文  参考訳（メタデータ） (2020-05-05T07:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。