論文の概要: Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection

• arxiv url: http://arxiv.org/abs/2609.04561v1
• Date: Thu, 03 Sep 2026 23:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.862545
• Title: Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection
• Title（参考訳）: 幻覚空間投影によるウィスパーの幻覚文字の低減
• Abstract要約: そこで本研究では,デコーダアクティベーションの低ランク投影による幻覚を低減するためのトレーニング不要な推論時間手法を提案する。 我々は,低ランクアクティベーションプロジェクションは,再トレーニングを伴わずにWhisper幻覚を著しく抑制できることを示した。
• 参考スコア（独自算出の注目度）: 3.1932005243797867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whisper is a widely used foundation model for automatic speech recognition (ASR), but its generative decoder can produce fluent hallucinated transcripts for inputs containing little or no speech. We propose a training-free, inference-time method to reduce these hallucinations using low-rank projection of decoder activations. A compact hallucination-associated subspace is estimated from non-speech calibration data, and decoder hidden states are projected away from this subspace during inference. We evaluate two variants: always-on, which applies projection to all inputs, and gated, which applies it only when Whisper predicts that an input is likely non-speech. Across non-speech benchmarks, always-on projection reduces average hallucination rate (HR) from 31.31% to 2.44%, a 92.21% relative reduction, while gated projection reduces HR to 3.74%, an 88.05% relative reduction, with lower false rejection of genuine speech. On LibriSpeech, gated projection increases absolute word error rate (WER) by 0.33-4.39 percentage points and yields false-rejection rates (FRR) of 0.41--9.97% across model and split settings. These results show that low-rank activation projection can substantially suppress Whisper hallucinations without retraining, while providing a controllable trade-off between hallucination suppression and speech recognition performance.
• Abstract（参考訳）: Whisperは自動音声認識(ASR)の基盤モデルとして広く使われているが、その生成復号器は、ほとんど、あるいは全くの音声を含む入力に対して、流動的な幻覚文字を生成することができる。 本稿では,デコーダアクティベーションの低ランクプロジェクションを用いて,これらの幻覚を減らすためのトレーニング不要な推論時間手法を提案する。 非音声キャリブレーションデータから、コンパクトな幻覚関連部分空間を推定し、推論中にデコーダ隠蔽状態をこの部分空間から投影する。 我々は、全ての入力に射影を適用する always-on と、Whisper が入力が非音声であると予測した場合にのみ適用する gate の2つの変種を評価する。 非音声ベンチマーク全体では、常時投射は平均幻覚率(HR)を31.31%から2.44%に減らし、92.21%は相対的に減らし、ゲート投射はHRを3.74%に減らし、88.05%は相対的に減らした。 LibriSpeechでは、ゲートプロジェクションは絶対単語誤り率(WER)を0.33-4.39ポイント増加させ、モデルとスプリット設定で0.41-9.97%の偽還元率(FRR)を得る。 これらの結果から,低ランクなアクティベーションプロジェクションは,抑制効果と音声認識性能とのトレードオフを抑えつつも,トレーニングを伴わずにWhisper幻覚を効果的に抑制できることが示された。

関連論文リスト

• Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders [7.378893412842889]
  本稿では,Whisperの内部表現を通じて幻覚を検出・緩和できるかどうかを検討する。 両空間は線形分離可能な幻覚関連情報を符号化している。 本稿では,アクティベーション・スペース・ステアリングとSAEラテント・スペース・ステアリングという2つのステアリング戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-05T17:26:23Z)
• Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition [9.131439623985028]
  事前訓練された大規模言語モデルは、音声認識におけるタスク固有のデコーダを置き換える。 彼らのテキスト由来の先行性は、認識をより公平にするか、あるいは人口統計グループに偏っているか? 我々は,3世代にわたる9つのモデルを5つの人口動態軸にわたる約43,000発の発話で評価した。
  論文  参考訳（メタデータ） (2026-04-23T04:40:58Z)
• The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems [0.0]
  幻覚予測をRAG検出に適用し、スコアを有限サンプルカバレッジ保証付き決定セットに変換する。 分布尾レンズを用いてこの障害を分析し,NLIモデルが許容可能なAUC(0.81)を達成する一方で,「最も厳しい」幻覚は,忠実な応答と意味的に区別できないことを示した。
  論文  参考訳（メタデータ） (2025-12-17T04:22:28Z)
• A Low-Rank Method for Vision Language Model Hallucination Mitigation in Autonomous Driving [18.863791958956625]
  視覚言語モデル(VLM)は、交通状況を理解するために、自律運転にますます使われている。 VLMは幻覚を発生させるが、これは視覚入力に基づかない偽の細部である。 本稿では,幻覚レベルに基づいて複数の候補キャプションを自動的にランク付けする,自己完結型低ランク手法を提案する。
  論文  参考訳（メタデータ） (2025-11-09T18:50:30Z)
• StutterZero and StutterFormer: End-to-End Speech Conversion for Stuttering Transcription and Correction [0.0]
  この研究で紹介されるStutterZeroとStutterFormerは、最初のエンドツーエンドの波形-波形モデルである。 すべてのベンチマークで、StutterZeroはWord Error Rate(WER)を24%削減し、Whisper-Mediumモデルと比較して意味的類似性(BERTScore)を31%改善した。
  論文  参考訳（メタデータ） (2025-10-21T17:54:36Z)
• Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down [9.098293248868503]
  本稿では,非音声セグメントにおけるWhisperの幻覚を軽減する手法を提案する。 本稿では,Whisper-large-v3デコーダにおける各自己注意頭部の幻覚への寄与を,頭部マスクを用いて評価する。 我々の最高の微調整モデルであるCalm-Whisperは、0.1% WER未満の非音声幻覚の80%以上を減少させる。
  論文  参考訳（メタデータ） (2025-05-19T11:04:52Z)
• Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations [51.92795774118647]
  LLMの表現空間における1つの線形特徴によって「動詞の不確実性」が支配されることがわかった。 これはモデルの実際の意味的不確実性と適度な相関しか持たないことを示す。
  論文  参考訳（メタデータ） (2025-03-18T17:51:04Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Multi-Modal Hallucination Control by Visual Information Grounding [121.6983694815504]
  本稿では,VLM(Generative Vision-Language Models)が,入力画像に常に接するとは限らない,可聴性のあるテキスト応答を生成する傾向があることを示す。 即時増幅のための新しいサンプリング手法であるM3ID(Multi-Modal Mutual-Information Decoding)を導入する。 M3IDは、言語に対する参照画像の影響を増幅し、視覚的プロンプトと高い相互情報を持つトークンの生成を優先する。
  論文  参考訳（メタデータ） (2024-03-20T22:05:18Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。