論文の概要: Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata

• arxiv url: http://arxiv.org/abs/2309.09548v2
• Date: Thu, 13 Jun 2024 14:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-15 02:19:21.598728
• Title: Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
• Title（参考訳）: ウィスパーとメタデータを用いた補聴器の非侵入的音声明瞭度予測
• Authors: Ryandhimas E. Zezario, Fei Chen, Chiou-Shann Fuh, Hsin-Min Wang, Yu Tsao,
• Abstract要約: 本稿では,知能予測精度を向上させるための3つの新しい手法を提案する。 MBI-Net+は、第1回Clarity Prediction Challengeの最高パフォーマンスシステムであるMBI-Netの拡張版である。
• 参考スコア（独自算出の注目度）: 28.260347585185176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated speech intelligibility assessment is pivotal for hearing aid (HA) development. In this paper, we present three novel methods to improve intelligibility prediction accuracy and introduce MBI-Net+, an enhanced version of MBI-Net, the top-performing system in the 1st Clarity Prediction Challenge. MBI-Net+ leverages Whisper's embeddings to create cross-domain acoustic features and includes metadata from speech signals by using a classifier that distinguishes different enhancement methods. Furthermore, MBI-Net+ integrates the hearing-aid speech perception index (HASPI) as a supplementary metric into the objective function to further boost prediction performance. Experimental results demonstrate that MBI-Net+ surpasses several intrusive baseline systems and MBI-Net on the Clarity Prediction Challenge 2023 dataset, validating the effectiveness of incorporating Whisper embeddings, speech metadata, and related complementary metrics to improve prediction performance for HA.
• Abstract（参考訳）: 自動音声認識は補聴器(HA)の開発において重要である。 本稿では,第1回Clarity Prediction ChallengeにおけるトップパフォーマンスシステムであるMBI-Netの強化版であるMBI-Net+を導入することで,インテリジェンス予測精度を向上させる3つの新しい手法を提案する。 MBI-Net+はWhisperの埋め込みを利用してクロスドメイン音響特徴を作成し、異なる拡張法を区別する分類器を用いて音声信号からのメタデータを含む。 さらに、MBI-Net+は、補足指標として補聴支援音声認識指標(HASPI)を対象関数に統合し、予測性能をさらに向上させる。 実験の結果,MBI-Net+ は Clarity Prediction Challenge 2023 データセットの侵入的ベースラインシステムや MBI-Net を超え,Whisper 埋め込み,音声メタデータ,関連する補完指標を組み込んで HA の予測性能を向上させる効果を検証した。

関連論文リスト

• Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models [29.511898279006175]
  この研究は、ニューラルネットワーク入力機能としてのWhisper ASRデコーダ層表現と、人間の記憶を模範とした心理的動機付けモデルを組み合わせることで、補聴器使用者の人間の知能評価を予測する。 トレーニングデータに現れない拡張システムやリスナーを含む、確立された侵入型HASPIベースラインシステムに対する実質的な性能改善が、28.7のベースラインと比較して、根平均2乗誤差が25.3である。
  論文  参考訳（メタデータ） (2024-01-24T17:31:07Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids [22.736703635666164]
  本稿では,聴覚補聴器(HA)利用者の主観的了解度スコアを予測するためのマルチブランチ音声明瞭度予測モデル(MBI-Net)を提案する。 2つの枝の出力は、線形層を介して融合され、予測された音声の可知性スコアを得る。
  論文  参考訳（メタデータ） (2022-04-07T09:13:44Z)
• MetricGAN+/-: Increasing Robustness of Noise Reduction on Unseen Data [26.94528951545861]
  予測ネットワークのロバスト性を改善する「デジェネレータ」を提案する。 VoiceBank-DEMANDデータセットの実験結果は、PSSQスコアが3.8%相対的に改善したことを示している。
  論文  参考訳（メタデータ） (2022-03-23T12:42:28Z)
• HASA-net: A non-intrusive hearing-aid speech assessment network [52.83357278948373]
  本稿では,DNNに基づく聴覚支援音声評価ネットワーク(HASA-Net)を提案する。 我々の知る限り、HASA-Netは、DNNに基づく統合型非侵襲的補聴器モデルを用いて、品質とインテリジェンスの評価を取り入れた最初の研究である。 実験結果から,HASA-Netの予測音声品質と難聴度スコアは,2つのよく知られた難聴度評価指標と高い相関を示した。
  論文  参考訳（メタデータ） (2021-11-10T14:10:13Z)
• Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features [30.57631206882462]
  MOSA-Netは、テスト音声信号を入力として、音声品質、知性、歪み評価スコアを推定するように設計されている。 音声品質(PESQ)、短時間客観性(STOI)、音声歪み指数(BLS)のスコアを、雑音および拡張音声発話の両方で正確に予測できることを,MOSA-Netが示す。
  論文  参考訳（メタデータ） (2021-11-03T17:30:43Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)
• Improving Speech Enhancement Performance by Leveraging Contextual Broad Phonetic Class Information [33.79855927394387]
  音声強調のための追加情報として,音節属性の文脈情報について検討する。 本稿では,エンド・ツー・エンドの自動音声認識モデルによる損失を利用してSE性能を向上させることを提案する。 その結果,文脈的BPC情報によりSE性能が向上することが確認された。
  論文  参考訳（メタデータ） (2020-11-15T03:56:37Z)
• Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement [102.48582597586233]
  本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。 対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-03-31T02:16:34Z)
• Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances [53.063441357826484]
  深層話者埋め込みに基づく話者認識システムは,制御条件下での大幅な性能向上を実現している。 制御されていない雑音環境下での短い発話に対する話者検証は、最も困難で要求の高いタスクの1つである。 本稿では,a)環境騒音の有無による遠距離話者検証システムの品質向上,b)短時間発話におけるシステム品質劣化の低減という2つの目標を達成するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-14T13:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。