論文の概要: Interpreting Pretrained Speech Models for Automatic Speech Assessment of Voice Disorders

• arxiv url: http://arxiv.org/abs/2407.00531v1
• Date: Sat, 29 Jun 2024 21:14:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:46:30.870884
• Title: Interpreting Pretrained Speech Models for Automatic Speech Assessment of Voice Disorders
• Title（参考訳）: 音声障害の自動評価のための事前学習音声モデルの解釈
• Authors: Hok-Shing Lau, Mark Huntly, Nathon Morgan, Adesua Iyenoma, Biao Zeng, Tim Bashford,
• Abstract要約: 我々は、音声障害検出の文脈において、オーディオスペクトログラム変換器の2つの構成を訓練し比較する。 本研究では,モデルが予測を行うときのスペクトル領域の計算的関連性であるモデル関連性マップを作成するために,アテンションロールアウト手法を適用した。 我々はこれらのマップを用いて、モデルが異なる条件下でどのように予測を行うかを分析し、モデルが微調整されるにつれて注意の拡散が減少することを示す。
• 参考スコア（独自算出の注目度）: 0.8796261172196743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech contains information that is clinically relevant to some diseases, which has the potential to be used for health assessment. Recent work shows an interest in applying deep learning algorithms, especially pretrained large speech models to the applications of Automatic Speech Assessment. One question that has not been explored is how these models output the results based on their inputs. In this work, we train and compare two configurations of Audio Spectrogram Transformer in the context of Voice Disorder Detection and apply the attention rollout method to produce model relevance maps, the computed relevance of the spectrogram regions when the model makes predictions. We use these maps to analyse how models make predictions in different conditions and to show that the spread of attention is reduced as a model is finetuned, and the model attention is concentrated on specific phoneme regions.
• Abstract（参考訳）: 音声には、いくつかの疾患に臨床的に関連がある情報が含まれており、健康評価に使用される可能性がある。 最近の研究は、ディープラーニングアルゴリズム、特に事前学習された大規模音声モデルを自動音声アセスメントの応用に適用することに関心を示している。 調査されていない問題のひとつは、これらのモデルがどのように入力に基づいて結果を出力するかである。 本研究では,音声障害検出の文脈における2つのAudio Spectrogram Transformerの構成を訓練・比較し,そのモデルが予測を行う際のスペクトログラム領域の計算的関連性であるモデル関連マップを作成するためにアテンションロールアウト法を適用した。 我々はこれらの地図を用いて、モデルが異なる条件下でどのように予測を行うかを分析し、モデルが微調整されると注意の拡散が減少し、モデル注意が特定の音素領域に集中することを示す。

関連論文リスト

• Measuring Sound Symbolism in Audio-visual Models [21.876743976994614]
  本研究では,事前学習した音声視覚モデルが,音と視覚表現の関連性を示すかどうかを検討する。 この結果から,人間の言語処理との関連が明らかとなり,認知アーキテクチャや機械学習戦略の洞察が得られた。
  論文  参考訳（メタデータ） (2024-09-18T20:33:54Z)
• Developing Acoustic Models for Automatic Speech Recognition in Swedish [6.5458610824731664]
  本稿では,トレーニング可能なシステムを用いた自動連続音声認識について述べる。 この研究の目的はスウェーデン語話者のための音響モデルを構築することである。
  論文  参考訳（メタデータ） (2024-04-25T12:03:14Z)
• Detecting Speech Abnormalities with a Perceiver-based Sequence Classifier that Leverages a Universal Speech Model [4.503292461488901]
  いくつかの神経疾患の音声反射異常を検出するPerceiver-based sequenceを提案する。 このシーケンスとUniversal Speech Model (USM)を組み合わせ、1200万時間に及ぶ多様な音声録音をトレーニング(教師なし)する。 我々のモデルは標準変圧器 (80.9%) および知覚器 (81.8%) モデルより優れ、平均精度は83.1%である。
  論文  参考訳（メタデータ） (2023-10-16T21:07:12Z)
• Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study [68.88536866933038]
  音声信号は、通常、毎秒数万のレートでサンプリングされ、冗長性を含んでいる。 近年の研究では、自己教師型学習表現から派生した離散音声単位の使用が提案されている。 復号化やサブワードモデリングなどの様々な手法を適用することで、さらに音声列の長さを圧縮することができる。
  論文  参考訳（メタデータ） (2023-09-27T17:21:13Z)
• Audio-Visual Speech Enhancement with Score-Based Generative Models [22.559617939136505]
  本稿では,スコアベース生成モデルを利用した音声・視覚音声強調システムを提案する。 我々は,リップリーディングを微調整した自己超視的学習モデルから得られる音声-視覚的埋め込みを利用する。 実験により,提案した音声・視覚音声強調システムにより,音声の質が向上することが確認された。
  論文  参考訳（メタデータ） (2023-06-02T10:43:42Z)
• Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research [62.997667081978825]
  早期言語習得のモデリングは、幼児が言語スキルをブートストラップする方法を理解することを目的としている。 近年の進歩により、より自然主義的なトレーニングデータを計算モデルに利用できるようになった。 音質がこれらのデータに対する分析やモデリング実験にどう影響するかは、現時点では不明である。
  論文  参考訳（メタデータ） (2023-05-03T08:25:37Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。