論文の概要: When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition

• arxiv url: http://arxiv.org/abs/2605.02782v1
• Date: Mon, 04 May 2026 16:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.405285
• Title: When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition
• Title（参考訳）: 変形性音声認識におけるマルチモーダルコンテキストの活用に失敗した音声言語モデル
• Authors: Pehuén Moure, Niclas Pokel, Bilal Bounajma, Yingqiang Gao, Roman Boehringer, Longbiao Cheng, Shih-Chii Liu,
• Abstract要約: 我々は, 診断ラベル, 臨床医由来の音声評価, および徐々にリッチな臨床記述が, 変形性関節症音声の転写精度を向上させるかどうかを検証した。 診断インフォームドおよび臨床的に詳細なプロンプトは、無視できる改善をもたらし、しばしば単語誤り率を低下させる。 サブグループ分析により,ダウン症候群と軽度重度話者に有意な改善が認められた。
• 参考スコア（独自算出の注目度）: 10.779774155043166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic speech recognition (ASR) systems remain brittle on dysarthric and other atypical speech. Recent audio-language models raise the possibility of improving performance by conditioning on additional clinical context at inference time, but it is unclear whether these models can make use of such information. We introduce a benchmark built on the Speech Accessibility Project (SAP) dataset that tests whether diagnosis labels, clinician-derived speech ratings, and progressively richer clinical descriptions improve transcription accuracy for dysarthric speech. Across matched comparisons on nine models, we find that current models do not meaningfully use this context: diagnosis-informed and clinically detailed prompts yield negligible improvements and often degrade word error rate. We complement the prompting analysis with context-dependent fine-tuning, showing that LoRA adaptation with a mixture of clinical prompt formats achieves a WER of 0.066, a 52% relative reduction over the frozen baseline, while preserving performance when context is unavailable. Subgroup analyses reveal significant gains for Down syndrome and mild-severity speakers. These results clarify where current models fall short and provide a testbed for measuring progress toward more inclusive ASR.
• Abstract（参考訳）: 自動音声認識システム(ASR)は、変形性関節症やその他の非典型的音声に対して脆弱なままである。 近年の音声言語モデルでは,追加臨床コンテキストを推論時に条件付けすることで,パフォーマンス向上の可能性が高まっているが,これらのモデルがそのような情報を活用することができるかどうかは不明である。 本稿では, 診断ラベル, 臨床医由来の音声評価, およびよりリッチな臨床記述が, 変形性音声の転写精度を向上させるかどうかを検査する, 音声アクセシビリティー・プロジェクト(SAP)データセット上に構築されたベンチマークを紹介する。 診断インフォームドおよび臨床的に詳細なプロンプトは、無視可能な改善をもたらし、しばしば単語誤り率を低下させる。 本研究は, 凍結ベースラインに対する52%の相対的な低下である0.066のWERを実現するとともに, 文脈に依存しない微調整によりLoRAの適応が達成されることを示す。 サブグループ分析により,ダウン症候群と軽度重度話者に有意な改善が認められた。 これらの結果から、現在のモデルが不足している場所を明らかにし、より包括的なASRに向けた進捗を測定するためのテストベッドを提供する。

関連論文リスト

• Impact of automatic speech recognition quality on Alzheimer's disease detection from spontaneous speech: a reproducible benchmark study with lexical modeling and statistical validation [0.0]
  自然発声からアルツハイマー病を早期に検出することは、有望な非侵襲的スクリーニングアプローチとして現れている。 本稿では,ADReSSo 2021 診断データセット上でWhisper ASR 転写産物から得られた語彙的特徴を用いたアルツハイマー病の検出について検討した。 Whisper-based transcripts でトレーニングされたモデルは、Linear SVM で 0.7850 以上のバランスの取れた精度を達成するため、一貫してWhisper-base transcripts よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-18T19:46:29Z)
• Something from Nothing: Data Augmentation for Robust Severity Level Estimation of Dysarthric Speech [69.86604856129883]
  外科的音声品質評価(DSQA)は臨床診断と包括的音声技術において重要である。 本研究では,未ラベルの変形音声と大規模典型的な音声データセットを併用した3段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T23:00:07Z)
• Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
  自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。 この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。 本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
  論文  参考訳（メタデータ） (2025-10-18T16:26:16Z)
• NeuroXVocal: Detection and Explanation of Alzheimer's Disease through Non-invasive Analysis of Picture-prompted Speech [4.815952991777717]
  NeuroXVocalは、音声分析によってアルツハイマー病(AD)の可能性を分類し、説明する新しい二重成分システムである。 分類コンポーネント(Neuro)は、音声パターンと音声特徴をキャプチャする音響特徴、音声書き起こしから抽出したテキスト特徴、言語パターンを表す事前計算された埋め込みの3つの異なるデータストリームを処理する。 説明可能性コンポーネント(XVocal)は、大規模言語モデルとAD研究文献のドメイン固有の知識ベースを組み合わせた、検索・拡張生成(RAG)アプローチを実装している。
  論文  参考訳（メタデータ） (2025-02-14T12:09:49Z)
• Dialogue is Better Than Monologue: Instructing Medical LLMs via Strategical Conversations [74.83732294523402]
  実世界の診断シナリオをシミュレートし,USMLE標準に適合するノイズと難易度を統合する新しいベンチマークを導入する。 また、対話に基づく微調整についても検討し、静的データセットを会話形式に変換し、反復的推論プロセスをよりよく捉える。 実験の結果、対話調整されたモデルは従来の手法よりも優れており、マルチラウンド推論のシナリオでは9.64%、ノイズの多い環境では6.18%の精度で改善されている。
  論文  参考訳（メタデータ） (2025-01-29T18:58:48Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)
• A study on the impact of Self-Supervised Learning on automatic dysarthric speech assessment [6.284142286798582]
  以上の結果から,HuBERTは難聴分類,単語認識,インテリジェンス分類において最も汎用性の高い特徴抽出器であり,従来の音響特徴と比較して,それぞれ+24.7%,+61%,テキストおよび+7.2%の精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-06-07T11:04:02Z)
• The Far Side of Failure: Investigating the Impact of Speech Recognition Errors on Subsequent Dementia Classification [8.032686410648274]
  自然発話で検出される言語異常は、認知障害などの認知障害のスクリーニングなど、様々な臨床応用の可能性を示唆している。 自己教師付き学習(SSL)自動音声認識(ASR)モデルにおいて,臨床環境から抽出した難解な音声サンプルでは,有意な性能が得られない。 我々の重要な発見の1つは、パラドックス的に、比較的高いエラー率を持つASRシステムは、動詞の文字起こしに基づく分類よりも、より下流の分類精度の高い転写文を生成できるということである。
  論文  参考訳（メタデータ） (2022-11-11T17:06:45Z)
• Exploring linguistic feature and model combination for speech recognition based automatic AD detection [61.91708957996086]
  音声ベースの自動ADスクリーニングシステムは、他の臨床スクリーニング技術に代わる非侵襲的でスケーラブルな代替手段を提供する。 専門的なデータの収集は、そのようなシステムを開発する際に、モデル選択と特徴学習の両方に不確実性をもたらす。 本稿では,BERT と Roberta の事前学習したテキストエンコーダのドメイン微調整の堅牢性向上のための特徴とモデルの組み合わせ手法について検討する。
  論文  参考訳（メタデータ） (2022-06-28T05:09:01Z)
• NUVA: A Naming Utterance Verifier for Aphasia Treatment [49.114436579008476]
  失語症(PWA)患者の治療介入に対する反応の診断とモニタリングの両立のための画像命名タスクを用いた音声性能評価 本稿では,失語症脳卒中患者の「正しい」と「正しくない」を分類する深層学習要素を組み込んだ発話検証システムであるNUVAについて述べる。 イギリス系英語8ヶ国語でのテストでは、システムの性能精度は83.6%から93.6%の範囲であり、10倍のクロスバリデーション平均は89.5%であった。
  論文  参考訳（メタデータ） (2021-02-10T13:00:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。