論文の概要: Hallucination Benchmark for Speech Foundation Models

• arxiv url: http://arxiv.org/abs/2510.16567v1
• Date: Sat, 18 Oct 2025 16:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.042248
• Title: Hallucination Benchmark for Speech Foundation Models
• Title（参考訳）: 音声基礎モデルの幻覚ベンチマーク
• Abstract要約: 自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。 この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。 本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
• 参考スコア（独自算出の注目度）: 33.92968426403491
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hallucinations in automatic speech recognition (ASR) systems refer to fluent and coherent transcriptions produced by neural ASR models that are completely unrelated to the underlying acoustic input (i.e., the speech signal). While similar to conventional decoding errors in potentially compromising the usability of transcriptions for downstream applications, hallucinations can be more detrimental due to their preservation of syntactically and semantically plausible structure. This apparent coherence can mislead subsequent processing stages and introduce serious risks, particularly in critical domains such as healthcare and law. Conventional evaluation metrics are primarily centered on error-based metrics and fail to distinguish between phonetic inaccuracies and hallucinations. Consequently, there is a critical need for new evaluation frameworks that can effectively identify and assess models with a heightened propensity for generating hallucinated content. To this end, we introduce SHALLOW, the first benchmark framework that systematically categorizes and quantifies hallucination phenomena in ASR along four complementary axes: lexical, phonetic, morphological, and semantic. We define targeted metrics within each category to produce interpretable profiles of model behavior. Through evaluation across various architectures and speech domains, we have found that SHALLOW metrics correlate strongly with word error rate (WER) when recognition quality is high (i.e., low WER). Still, this correlation weakens substantially as WER increases. SHALLOW, therefore, captures fine-grained error patterns that WER fails to distinguish under degraded and challenging conditions. Our framework supports specific diagnosis of model weaknesses and provides feedback for model improvement beyond what aggregate error rates can offer.
• Abstract（参考訳）: 自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち音声信号)とは全く無関係な神経性ASRモデルによって生成される、流動的でコヒーレントな転写を指す。 下流のアプリケーションで転写のユーザビリティを損なうような、従来のデコードエラーと同様、幻覚は、構文的にも意味的にも妥当な構造の保存により、より有害である可能性がある。 この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。 従来の評価指標は主にエラーベースの指標に重点を置いており、音韻の不正確さと幻覚の区別に失敗している。 その結果、幻覚的コンテンツを生成するための妥当性を高めたモデルを効果的に識別し、評価できる新しい評価フレームワークが不可欠である。 そこで我々は,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。 モデル行動の解釈可能なプロファイルを生成するために,各カテゴリのターゲットメトリクスを定義した。 各種アーキテクチャや音声領域における評価により, SHALLOW測定値は認識品質が高い場合の単語誤り率(WER)と強く相関していることがわかった。 しかし、この相関はWERの増加とともに著しく弱まる。 したがってSHALLOWは、WERが劣化および挑戦的な条件下で区別できないきめ細かいエラーパターンをキャプチャする。 我々のフレームワークは、モデル弱点の特定診断をサポートし、アグリゲートエラー率以上のモデル改善のためのフィードバックを提供する。

関連論文リスト

• When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition [10.779774155043166]
  我々は, 診断ラベル, 臨床医由来の音声評価, および徐々にリッチな臨床記述が, 変形性関節症音声の転写精度を向上させるかどうかを検証した。 診断インフォームドおよび臨床的に詳細なプロンプトは、無視できる改善をもたらし、しばしば単語誤り率を低下させる。 サブグループ分析により,ダウン症候群と軽度重度話者に有意な改善が認められた。
  論文  参考訳（メタデータ） (2026-05-04T16:24:06Z)
• Quantifying Prior Dominance in RAG Systems [1.9544213396776273]
  我々は、文脈情報ゲインを定量化するために、正規化コンテキスト利用(NCU)メトリクスを導入する。 1.5Bから72Bまでのアーキテクチャを,プロプライエタリな商用APIとともに評価する。 厳密な抽出におけるSLMの構造的優位性と文脈的付着性について検討した。
  論文  参考訳（メタデータ） (2026-04-29T15:38:24Z)
• Impact of automatic speech recognition quality on Alzheimer's disease detection from spontaneous speech: a reproducible benchmark study with lexical modeling and statistical validation [0.0]
  自然発声からアルツハイマー病を早期に検出することは、有望な非侵襲的スクリーニングアプローチとして現れている。 本稿では,ADReSSo 2021 診断データセット上でWhisper ASR 転写産物から得られた語彙的特徴を用いたアルツハイマー病の検出について検討した。 Whisper-based transcripts でトレーニングされたモデルは、Linear SVM で 0.7850 以上のバランスの取れた精度を達成するため、一貫してWhisper-base transcripts よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-18T19:46:29Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• HART: Data-Driven Hallucination Attribution and Evidence-Based Tracing for Large Language Models [4.211691393530721]
  我々は,大規模言語モデルに対する微細な幻覚の帰属とエビデンス検索の枠組みであるHARTを提案する。 HARTは幻覚追跡を、局所化、メカニズム帰属、エビデンス検索、因果トレースの4段階からなる構造化モデリングタスクとして定式化する。 この定式化に基づいて,幻覚追跡に適した最初の構造化データセットを開発した。
  論文  参考訳（メタデータ） (2026-03-06T02:23:55Z)
• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
  AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
  論文  参考訳（メタデータ） (2025-10-11T14:09:24Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• Reading Between the Lines: Combining Pause Dynamics and Semantic Coherence for Automated Assessment of Thought Disorder [8.239710313549466]
  本研究では,ポーズ機能と3つのデータセット間のセマンティックコヒーレンスメトリクスを統合する。 重要な発見は、停止機能だけで形式的思考障害(FTD)の重症度を確実に予測できることである。 これらの結果から,時間的分析と意味的分析を組み合わせたフレームワークが,非編成音声の評価を洗練するためのロードマップを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-07-17T22:00:16Z)
• Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models [36.327525062842724]
  幻覚は特に医療、法務、航空などの高額な領域に関係している。 本研究では,分布変化やモデルサイズ,モデルアーキテクチャなどの要因が幻覚発生誤差率(HER)にどのように影響するかを検討する。 我々の研究は、ASRモデルの性能を評価するために、WERのような従来の指標とHERを併用することの重要性を強調した。
  論文  参考訳（メタデータ） (2025-02-18T01:25:39Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Toward Practical Automatic Speech Recognition and Post-Processing: a Call for Explainable Error Benchmark Guideline [12.197453599489963]
  本稿では,Error Explainable Benchmark (EEB) データセットの開発を提案する。 このデータセットは、音声レベルとテキストレベルの両方を考慮しているが、モデルの欠点を詳細に理解することができる。 我々の提案は、より現実世界中心の評価のための構造化された経路を提供し、ニュアンスドシステムの弱点の検出と修正を可能にします。
  論文  参考訳（メタデータ） (2024-01-26T03:42:45Z)
• Useful Blunders: Can Automated Speech Recognition Errors Improve Downstream Dementia Classification? [9.275790963007173]
  自動音声認識システム(ASR)の誤差が認知症分類精度に与える影響について検討した。 ASRが生成した不完全な転写産物が貴重な情報を提供するかどうかを評価することを目的としていた。
  論文  参考訳（メタデータ） (2024-01-10T21:38:03Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• The Far Side of Failure: Investigating the Impact of Speech Recognition Errors on Subsequent Dementia Classification [8.032686410648274]
  自然発話で検出される言語異常は、認知障害などの認知障害のスクリーニングなど、様々な臨床応用の可能性を示唆している。 自己教師付き学習(SSL)自動音声認識(ASR)モデルにおいて,臨床環境から抽出した難解な音声サンプルでは,有意な性能が得られない。 我々の重要な発見の1つは、パラドックス的に、比較的高いエラー率を持つASRシステムは、動詞の文字起こしに基づく分類よりも、より下流の分類精度の高い転写文を生成できるということである。
  論文  参考訳（メタデータ） (2022-11-11T17:06:45Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。