論文の概要: Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features

• arxiv url: http://arxiv.org/abs/2111.02363v5
• Date: Thu, 19 Dec 2024 09:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-22 17:46:44.397864
• Title: Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features
• Title（参考訳）: クロスドメイン特徴を有する深層学習に基づく非侵入的多目的音声評価モデル
• Authors: Ryandhimas E. Zezario, Szu-Wei Fu, Fei Chen, Chiou-Shann Fuh, Hsin-Min Wang, Yu Tsao,
• Abstract要約: 我々はMOSA-Netと呼ばれるクロスドメイン多目的音声アセスメントモデルを提案し、同時に複数の音声アセスメント指標を推定できる。 実験の結果, 音声品質(PESQ)予測の知覚評価において, MOSA-Net は線形相関係数 (LCC) を 0.026 (0.990 vs 0.964) と 0.012 (0.969 vs 0.957) で改善できることがわかった。
• 参考スコア（独自算出の注目度）: 31.59528815233441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose a cross-domain multi-objective speech assessment model called MOSA-Net, which can estimate multiple speech assessment metrics simultaneously. Experimental results show that MOSA-Net can improve the linear correlation coefficient (LCC) by 0.026 (0.990 vs 0.964 in seen noise environments) and 0.012 (0.969 vs 0.957 in unseen noise environments) in perceptual evaluation of speech quality (PESQ) prediction, compared to Quality-Net, an existing single-task model for PESQ prediction, and improve LCC by 0.021 (0.985 vs 0.964 in seen noise environments) and 0.047 (0.836 vs 0.789 in unseen noise environments) in short-time objective intelligibility (STOI) prediction, compared to STOI-Net (based on CRNN), an existing single-task model for STOI prediction. Moreover, MOSA-Net, originally trained to assess objective scores, can be used as a pre-trained model to be effectively adapted to an assessment model for predicting subjective quality and intelligibility scores with a limited amount of training data. Experimental results show that MOSA-Net can improve LCC by 0.018 (0.805 vs 0.787) in mean opinion score (MOS) prediction, compared to MOS-SSL, a strong single-task model for MOS prediction. In light of the confirmed prediction capability, we further adopt the latent representations of MOSA-Net to guide the speech enhancement (SE) process and derive a quality-intelligibility (QI)-aware SE (QIA-SE) approach accordingly. Experimental results show that QIA-SE provides superior enhancement performance compared with the baseline SE system in terms of objective evaluation metrics and qualitative evaluation test. For example, QIA-SE can improve PESQ by 0.301 (2.953 vs 2.652 in seen noise environments) and 0.18 (2.658 vs 2.478 in unseen noise environments) over a CNN-based baseline SE model.
• Abstract（参考訳）: 本研究では,MOSA-Netと呼ばれるクロスドメイン多目的音声アセスメントモデルを提案し,複数の音声アセスメント指標を同時に推定する。 実験により,MOSA-Netは音声品質(PESQ)予測の知覚的評価において0.026 (0.990 vs 0.964) と0.012 (0.969 vs 0.957) により線形相関係数(LCC) を向上し,PESQ予測のための既存の単一タスクモデルであるQuality-Netと比較し,STOI予測において0.021 (0.985 vs 0.964) と0.047 (0.836 vs 0.789) でLCCを改善することができた。 さらに、MOSA-Netは、もともと客観的スコアを評価するために訓練されたものであり、トレーニングデータの限られた量で主観的品質とインテリジェンススコアを予測するためのアセスメントモデルに効果的に適応するために、事前訓練されたモデルとして使用できる。 実験の結果,MOSA-Netは平均世論スコア(MOS)予測において0.018(0.805 vs 0.787)でLCCを改善することができた。 確認された予測能力を考慮して、MOSA-Netの潜伏表現を用いて、音声強調(SE)プロセスを導出し、品質認識性(QI-SE)アプローチを導出する。 実験結果から,QIA-SEは,客観的評価指標と定性評価試験の観点から,ベースラインSEシステムと比較して優れた向上性能を示すことが示された。 例えば、QIA-SEは、CNNベースのベースラインSEモデルよりも0.301(ノイズ環境では2.953対2.652)と0.18(ノイズ環境では2.658対2.478)でPSSQを改善することができる。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
  ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。 本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。 NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-11T07:24:07Z)
• Feature Denoising Diffusion Model for Blind Image Quality Assessment [58.5808754919597]
  Blind Image Quality Assessment (BIQA) は、基準ベンチマークを使わずに、人間の知覚に合わせて画質を評価することを目的としている。 ディープラーニング BIQA の手法は、一般的に、伝達学習のための高レベルのタスクの特徴の使用に依存する。 本稿では,BIQAにおける特徴認知のための拡散モデルについて検討する。
  論文  参考訳（メタデータ） (2024-01-22T13:38:24Z)
• HAAQI-Net: A Non-intrusive Neural Music Audio Quality Assessment Model for Hearing Aids [30.305000305766193]
  本稿では,難聴者を対象とした非侵襲的ディープラーニングに基づく音質評価モデルであるHAAQI-Netを紹介する。 HAAQIのスコアは、音楽のオーディオクリップや聴覚障害パターンから直接予測できる。
  論文  参考訳（メタデータ） (2024-01-02T10:55:01Z)
• Multi-Task Pseudo-Label Learning for Non-Intrusive Speech Quality Assessment Model [28.32514067707762]
  本研究ではMTQ-Netと呼ばれるマルチタスク擬似ラベル学習(MPL)に基づく非侵入的音声品質評価モデルを提案する。 MPLは、事前訓練されたモデルから擬似ラベルスコアを取得し、マルチタスク学習を行う2つの段階から構成される。 MPLアプローチによるMTQ-Netは、他のSSLベースの音声アセスメントモデルと比較して、全体的な予測能力が高い。
  論文  参考訳（メタデータ） (2023-08-18T02:36:21Z)
• Evaluation of Speech Representations for MOS prediction [0.7329200485567826]
  本稿では,音声品質予測のための特徴抽出モデルの評価を行う。 また,教師付き学習モデルと自己教師付き学習モデルの埋め込みを話者検証モデルの埋め込みと比較するモデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-16T17:21:42Z)
• How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
  事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。 本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
  論文  参考訳（メタデータ） (2023-06-01T04:52:26Z)
• Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research [62.997667081978825]
  早期言語習得のモデリングは、幼児が言語スキルをブートストラップする方法を理解することを目的としている。 近年の進歩により、より自然主義的なトレーニングデータを計算モデルに利用できるようになった。 音質がこれらのデータに対する分析やモデリング実験にどう影響するかは、現時点では不明である。
  論文  参考訳（メタデータ） (2023-05-03T08:25:37Z)
• CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment [12.497279501767606]
  本研究では,人間の評価スコア(MOS)を予測するために,CCAT(Convolutional Context-Aware Transformer)ネットワークと呼ばれる新しいエンド・ツー・エンドのモデル構造を提案する。 我々は、複数の言語と歪みタイプにまたがる3つのMOSアノテーション付きデータセット上でモデルを評価し、その結果をConferenceSpeech 2022 Challengeに提出する。
  論文  参考訳（メタデータ） (2022-11-04T16:46:11Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids [22.736703635666164]
  本稿では,聴覚補聴器(HA)利用者の主観的了解度スコアを予測するためのマルチブランチ音声明瞭度予測モデル(MBI-Net)を提案する。 2つの枝の出力は、線形層を介して融合され、予測された音声の可知性スコアを得る。
  論文  参考訳（メタデータ） (2022-04-07T09:13:44Z)
• HASA-net: A non-intrusive hearing-aid speech assessment network [52.83357278948373]
  本稿では,DNNに基づく聴覚支援音声評価ネットワーク(HASA-Net)を提案する。 我々の知る限り、HASA-Netは、DNNに基づく統合型非侵襲的補聴器モデルを用いて、品質とインテリジェンスの評価を取り入れた最初の研究である。 実験結果から,HASA-Netの予測音声品質と難聴度スコアは,2つのよく知られた難聴度評価指標と高い相関を示した。
  論文  参考訳（メタデータ） (2021-11-10T14:10:13Z)
• InQSS: a speech intelligibility assessment model using a multi-task learning network [21.037410575414995]
  本研究では,スペクトルおよび散乱係数を入力特徴として用いた音声インテリジェンス評価モデルであるInQSSを提案する。 得られたモデルは、知性スコアだけでなく、音声の品質スコアも予測できる。
  論文  参考訳（メタデータ） (2021-11-04T02:01:27Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
  本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。 いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-09T15:06:09Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model [24.965732699885262]
  本稿では,深層学習に基づく非侵入的音声明瞭度評価モデル,すなわちSTOI-Netを提案する。 このモデルは、畳み込みニューラルネットワークと双方向長短期記憶(CNN-BLSTM)アーキテクチャと乗法的注意機構を組み合わせることで構成される。 実験結果から,STOI-Netで推定したSTOIスコアと実STOIスコアとの相関が良好であった。
  論文  参考訳（メタデータ） (2020-11-09T09:57:10Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)
• Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances [53.063441357826484]
  深層話者埋め込みに基づく話者認識システムは,制御条件下での大幅な性能向上を実現している。 制御されていない雑音環境下での短い発話に対する話者検証は、最も困難で要求の高いタスクの1つである。 本稿では,a)環境騒音の有無による遠距離話者検証システムの品質向上,b)短時間発話におけるシステム品質劣化の低減という2つの目標を達成するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-14T13:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。