論文の概要: Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders
- arxiv url: http://arxiv.org/abs/2606.07473v1
- Date: Fri, 05 Jun 2026 17:26:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.866557
- Title: Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders
- Title（参考訳）: 隠れ表現ステアリングとスパースオートエンコーダによるWhisper幻覚検出と緩和
- Abstract要約: 本稿では,Whisperの内部表現を通じて幻覚を検出・緩和できるかどうかを検討する。
両空間は線形分離可能な幻覚関連情報を符号化している。
本稿では,アクティベーション・スペース・ステアリングとSAEラテント・スペース・ステアリングという2つのステアリング戦略を提案する。
- 参考スコア（独自算出の注目度）: 7.378893412842889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whisper, a widely adopted ASR model, is known to suffer from hallucinations - coherent transcriptions generated for non-speech audio entirely disconnected from the input. We investigate whether hallucinations can be detected and mitigated through Whisper's internal representations. We extract audio encoder activations and evaluate two representation spaces: raw Whisper activations and Sparse AutoEncoder (SAE) latents. We show that both spaces encode linearly separable hallucination-related information, with discriminative power concentrated in a sparse feature subset and increasing toward deeper encoder layers. We propose two steering strategies: activation-space steering and SAE latent-space steering. SAE-based steering reduces hallucination rate from 72.63% to 14.11% for Whisper small and from 86.88% to 27.33% for Whisper large-v3 on the full non-speech test set, with small WER degradation on speech data, approaching the performance of fine-tuning-based methods.
- Abstract（参考訳）: 広く採用されているASRモデルであるWhisperは幻覚に悩まされている。
本稿では,Whisperの内部表現を通じて幻覚を検出・緩和できるかどうかを検討する。
音声エンコーダのアクティベートを抽出し、生のWhisperアクティベートとスパースオートエンコーダ (SAE) ラテントという2つの表現空間を評価する。
両空間は線形分離可能な幻覚関連情報を符号化し,識別力はスパース特徴部分集合に集中し,より深いエンコーダ層に向かって増大することを示す。
本稿では,アクティベーション・スペース・ステアリングとSAEラテント・スペース・ステアリングという2つのステアリング戦略を提案する。
SAEベースのステアリングは、小さなWhisperでは72.63%から14.11%に、完全な非音声テストセットではWhisperの大規模v3では86.88%から27.33%に減少し、音声データではWERが小さくなり、微調整ベースの手法のパフォーマンスに近づいている。
関連論文リスト
- Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection [3.1932005243797867]
そこで本研究では,デコーダアクティベーションの低ランク投影による幻覚を低減するためのトレーニング不要な推論時間手法を提案する。
我々は,低ランクアクティベーションプロジェクションは,再トレーニングを伴わずにWhisper幻覚を著しく抑制できることを示した。
論文 参考訳（メタデータ） (2026-09-03T23:33:12Z) - Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition [7.1200667451435296]
本稿では,Whisper-Aware LLMについて紹介する。
本モデルは,音響信号の物理的欠陥を定量化する学習により,本質的な自己認識を発達させる。
このモデルでは、AISHELL6-Whisperに対して17%の相対的なCER削減が達成された。
論文 参考訳（メタデータ） (2026-08-11T12:02:55Z) - Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models [51.56484100374058]
LALM(Large Audio-Language Models)は、音声理解において優れるが、音声信号のどこにあるかはほとんど明らかにしない。
本稿では,命令に基づくベクトルステアリングについて紹介する。これは音声を固定したまま,異なる指示されたプロンプトからのアクティベーションをコントラストすることで,ステアリングベクトルを構成する。
LALMにおける命令ベースステアリングの力学特性を特徴付けるとともに,これらのモデルが符号化した潜時構造に対する訓練不要プローブを提供する。
論文 参考訳（メタデータ） (2026-06-09T19:44:46Z) - Exploring Audio Hallucination in Egocentric Video Understanding [66.1760617001607]
最先端の大規模音声視覚言語モデル(AV-LLM)はマルチモーダルな記述を生成することができる。
本研究では、視覚的手がかりから音を推測するが、聴くことができない。
論文 参考訳（メタデータ） (2026-04-26T20:06:58Z) - Noise-Aware In-Context Learning for Hallucination Mitigation in ALLMs [5.553031534100783]
聴覚的大言語モデル(ALLM)は、音声理解と推論タスクにおいて強力な汎用性を実証している。
幻覚問題に対処するために,NAICL(Noss-Aware In-Context Learning)法を提案する。
論文 参考訳（メタデータ） (2026-04-10T06:35:46Z) - AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders [10.728025430620647]
私たちは、WhisperとHuBERTのすべてのエンコーダ層にわたってSAEをトレーニングします。
50%以上の機能は無作為な種間で一貫しており、復元品質は維持されている。
SAEの特徴は, 音声知覚における脳波活動と相関し, 人間の神経処理との整合性を示す。
論文 参考訳（メタデータ） (2026-02-04T20:29:16Z) - Listen Like a Teacher: Mitigating Whisper Hallucinations using Adaptive Layer Attention and Knowledge Distillation [9.486565210140279]
Whisperモデルは、多言語およびゼロショット設定における強力なパフォーマンスのために広く採用されている。
ウィスパースタイルのASRシステムにおける幻覚を減らすための以前の研究は、主に誤ったコンテンツをフィルタリングするために、音声前処理や書き起こしの後処理に重点を置いていた。
本稿では,まずアダプティブ・レイヤ・アテンション(ALA)を用いてエンコーダのロバスト性を向上し,多目的知識蒸留(KD)フレームワークを用いた幻覚を抑制する2段階アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-11-18T07:52:47Z) - Eliminating stability hallucinations in llm-based tts models via attention guidance [54.69225348397135]
本稿では,テキスト音声(TTS)モデルにおける安定性の幻覚の解消に注目する。
我々は,テキスト音声アライメントの品質を評価するためにビタビアルゴリズムを用いて,最適アライメントスコア(OAS)と呼ばれるメトリクスを提案した。
提案法は,CosyVoice2の安定性を負の効果を伴わずに効果的に抑制することができる。
論文 参考訳（メタデータ） (2025-09-24T07:47:52Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳（メタデータ） (2025-08-13T07:58:01Z) - Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down [9.098293248868503]
本稿では,非音声セグメントにおけるWhisperの幻覚を軽減する手法を提案する。
本稿では,Whisper-large-v3デコーダにおける各自己注意頭部の幻覚への寄与を,頭部マスクを用いて評価する。
我々の最高の微調整モデルであるCalm-Whisperは、0.1% WER未満の非音声幻覚の80%以上を減少させる。
論文 参考訳（メタデータ） (2025-05-19T11:04:52Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。