論文の概要: Fine-Tuning Whisper for Inclusive Prosodic Stress Analysis

• arxiv url: http://arxiv.org/abs/2503.02907v1
• Date: Mon, 03 Mar 2025 16:48:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:50:46.112253
• Title: Fine-Tuning Whisper for Inclusive Prosodic Stress Analysis
• Title（参考訳）: 包括的韻律的応力解析のための微調整ウィスパー
• Authors: Samuel S. Sohn, Sten Knutsen, Karin Stromswold,
• Abstract要約: 本研究では,OpenAIのWhisper large-v2 ASRモデルを用いて,音声におけるフレーズ,語彙,コントラスト的ストレスを認識する。 66人のネイティブ英語話者のデータセットを用いて、ストレスパターンを一般化し、ニューロタイプとジェンダーで話者を分類するモデルの能力を評価する。
• 参考スコア（独自算出の注目度）: 2.818750423530918
• License:
• Abstract: Prosody plays a crucial role in speech perception, influencing both human understanding and automatic speech recognition (ASR) systems. Despite its importance, prosodic stress remains under-studied due to the challenge of efficiently analyzing it. This study explores fine-tuning OpenAI's Whisper large-v2 ASR model to recognize phrasal, lexical, and contrastive stress in speech. Using a dataset of 66 native English speakers, including male, female, neurotypical, and neurodivergent individuals, we assess the model's ability to generalize stress patterns and classify speakers by neurotype and gender based on brief speech samples. Our results highlight near-human accuracy in ASR performance across all three stress types and near-perfect precision in classifying gender and neurotype. By improving prosody-aware ASR, this work contributes to equitable and robust transcription technologies for diverse populations.
• Abstract（参考訳）: 韻律は、人間の理解と自動音声認識(ASR)システムに影響を与える、音声知覚において重要な役割を果たす。 その重要性にもかかわらず、韻律的ストレスは、それを効率的に分析することの難しさのために、未研究のままである。 本研究では,OpenAIのWhisper large-v2 ASRモデルを用いて,音声におけるフレーズ,語彙,コントラスト的ストレスを認識する。 本研究では, 男性, 女性, ニューロタイプ, ニューロディバージェント個人を含む66人のネイティブ英語話者のデータセットを用いて, ストレスパターンを一般化し, 短時間の音声サンプルに基づいて, 話者をニューロタイプとジェンダーで分類する能力を評価する。 以上の結果から,3つのストレスタイプにまたがるASR性能のほぼ人間的精度と,性別や神経型を分類する上でのほぼ完璧な精度が明らかとなった。 この研究は、韻律を意識したASRを改善することで、多様な個体に対する等しく堅牢な転写技術に寄与する。

関連論文リスト

• Reexamining Racial Disparities in Automatic Speech Recognition Performance: The Role of Confounding by Provenance [7.882996636086014]
  自動音声認識(ASR)モデルとその使用法は公平かつ公平であることが重要である。 この研究は、現在の最先端のニューラルネットワークベースのASRシステムの性能を調べることによって、この格差の根底にある要因を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T02:14:17Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• A study on the impact of Self-Supervised Learning on automatic dysarthric speech assessment [6.284142286798582]
  以上の結果から,HuBERTは難聴分類,単語認識,インテリジェンス分類において最も汎用性の高い特徴抽出器であり,従来の音響特徴と比較して,それぞれ+24.7%,+61%,テキストおよび+7.2%の精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-06-07T11:04:02Z)
• Leveraging Pretrained Representations with Task-related Keywords for Alzheimer's Disease Detection [69.53626024091076]
  アルツハイマー病(AD)は高齢者に特に顕著である。 事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。 本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-14T16:03:28Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Hybrid Handcrafted and Learnable Audio Representation for Analysis of Speech Under Cognitive and Physical Load [17.394964035035866]
  音声におけるタスク負荷検出のための5つのデータセットを提案する。 音声記録は、ボランティアのコホートに認知的ストレスまたは身体的ストレスが引き起こされたとして収集された。 このデータセットを用いて、新たな自己教師型音声表現の設計と評価を行った。
  論文  参考訳（メタデータ） (2022-03-30T19:43:21Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Improving Fairness in Speaker Recognition [4.94706680113206]
  最先端の深層話者認識システムによって達成される性能の格差を調査します。 統計学的にバランスのとれたトレーニングセットで訓練されたモデルでは,異なるグループでより公平な行動を示すが,精度は高い。
  論文  参考訳（メタデータ） (2021-04-29T01:08:53Z)
• Quantifying Bias in Automatic Speech Recognition [28.301997555189462]
  本稿では,オランダのsoma asrシステムの性別,年齢,地域アクセント,非母語アクセントに対するバイアスを定量化する。 本研究では,ASR開発におけるバイアス緩和戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-28T12:52:03Z)
• Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement [102.48582597586233]
  本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。 対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-03-31T02:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。