論文の概要: JSQA: Speech Quality Assessment with Perceptually-Inspired Contrastive Pretraining Based on JND Audio Pairs

• arxiv url: http://arxiv.org/abs/2507.11636v1
• Date: Tue, 15 Jul 2025 18:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.103782
• Title: JSQA: Speech Quality Assessment with Perceptually-Inspired Contrastive Pretraining Based on JND Audio Pairs
• Title（参考訳）: JSQA:JND音声ペアを用いた知覚刺激型コントラスト事前学習による音声品質評価
• Authors: Junyi Fan, Donald Williamson,
• Abstract要約: 音声品質評価(SQA)は、高次元入力空間から知覚音声品質の平均評価スコア(MOS)を表すスカラーへのマッピングを学ぶためにしばしば用いられる。 本稿では,JSQAを提案する。JSQAは,音声エンコーダを知覚誘導型コントラスト学習を用いて,ただの目立った差分(JND)ペアで事前訓練し,MOS予測のための微調整を行う。 実験結果から, 知覚にインスパイアされたコントラスト事前学習は, 事前学習をせずに, ゼロからトレーニングした同一ネットワークと比較した場合, 種々の指標により評価されたモデル性能を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech quality assessment (SQA) is often used to learn a mapping from a high-dimensional input space to a scalar that represents the mean opinion score (MOS) of the perceptual speech quality. Learning such a mapping is challenging for many reasons, but largely because MOS exhibits high levels of inherent variance due to perceptual and experimental-design differences. Many solutions have been proposed, but many approaches do not properly incorporate perceptual factors into their learning algorithms (beyond the MOS label), which could lead to unsatisfactory results. To this end, we propose JSQA, a two-stage framework that pretrains an audio encoder using perceptually-guided contrastive learning on just noticeable difference (JND) pairs, followed by fine-tuning for MOS prediction. We first generate pairs of audio data within JND levels, which are then used to pretrain an encoder to leverage perceptual quality similarity information and map it into an embedding space. The JND pairs come from clean LibriSpeech utterances that are mixed with background noise from CHiME-3, at different signal-to-noise ratios (SNRs). The encoder is later fine-tuned with audio samples from the NISQA dataset for MOS prediction. Experimental results suggest that perceptually-inspired contrastive pretraining significantly improves the model performance evaluated by various metrics when compared against the same network trained from scratch without pretraining. These findings suggest that incorporating perceptual factors into pretraining greatly contributes to the improvement in performance for SQA.
• Abstract（参考訳）: 音声品質評価(SQA)は、高次元入力空間から知覚音声品質の平均評価スコア(MOS)を表すスカラーへのマッピングを学ぶためにしばしば用いられる。 このようなマッピングを学習することは、多くの理由から難しいが、MOSは知覚的および実験的設計の違いにより、高いレベルの固有のばらつきを示すためである。 多くの解決策が提案されているが、多くのアプローチは学習アルゴリズム(MOSラベル以外の)に知覚的要素を適切に組み入れていないため、不満足な結果をもたらす可能性がある。 この目的のために,JSQAを提案する。JSQAは,知覚誘導型コントラスト学習による音声エンコーダの事前学習を行う2段階のフレームワークであり,その次にMOS予測のための微調整を行う。 まず、JNDレベル内の音声データをペア生成し、エンコーダを事前訓練して知覚品質の類似性情報を活用し、それを埋め込み空間にマッピングする。 JND対は清浄なLibriSpeech発話から来ており、CHiME-3の背景雑音と異なる信号-雑音比(SNR)で混合される。 エンコーダは後に、MOS予測のためのNISQAデータセットのオーディオサンプルで微調整される。 実験結果から, 知覚にインスパイアされたコントラスト事前学習は, 事前学習をせずに, ゼロからトレーニングした同一ネットワークと比較した場合, 種々の指標により評価されたモデル性能を著しく向上させることが示された。 これらの結果から,事前学習に知覚因子を取り入れることが,SQAの性能向上に大きく寄与することが示唆された。

関連論文リスト

• Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts [0.0]
  学習条件と入力特徴がOOD条件下での音声キーワード分類器の頑健性と一般化能力に与える影響について検討する。 以上の結果から,いくつかの構成ではノイズ認識訓練が改善することが示唆された。
  論文  参考訳（メタデータ） (2025-07-30T22:14:16Z)
• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• Uncertainty as a Predictor: Leveraging Self-Supervised Learning for Zero-Shot MOS Prediction [40.51248841706311]
  本稿では,低リソース環境における高効率な音質予測のギャップについて論じる。 我々は、wav2vecのような事前訓練された自己教師型学習モデルから得られた不確実性はVoiceMOSスコアと相関することを示した。
  論文  参考訳（メタデータ） (2023-12-25T05:35:28Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Improving Self-Supervised Learning-based MOS Prediction Networks [0.0]
  本研究は,従来の自己教師型学習ベースMOS予測モデルに対して,データ,トレーニング,後訓練による具体的な改善を導入する。 We used a wav2vec 2.0 model pre-trained on LibriSpeech, extended with LSTM and non-linear dense layer。 この手法は,第1のVoice MOSチャレンジの共有合成音声データセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-04-23T09:19:16Z)
• Data Augmentation based Consistency Contrastive Pre-training for Automatic Speech Recognition [18.303072203996347]
  自動音声認識(ASR)タスクにおいて、自己教師付き音響事前学習は驚くべき結果を得た。 音響事前学習法の多くは、コントラスト学習を用いて音響表現を学習する。 本稿では,音声事前学習のためのデータ拡張を利用して,新しいコントラスト学習法(CCL)を設計する。
  論文  参考訳（メタデータ） (2021-12-23T13:23:17Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features [31.59528815233441]
  我々はMOSA-Netと呼ばれるクロスドメイン多目的音声アセスメントモデルを提案し、同時に複数の音声アセスメント指標を推定できる。 実験の結果, 音声品質(PESQ)予測の知覚評価において, MOSA-Net は線形相関係数 (LCC) を 0.026 (0.990 vs 0.964) と 0.012 (0.969 vs 0.957) で改善できることがわかった。
  論文  参考訳（メタデータ） (2021-11-03T17:30:43Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Robust Audio-Visual Instance Discrimination [79.74625434659443]
  音声・映像表現を学習するための自己指導型学習法を提案する。 視聴覚インスタンスの識別の問題に対処し、転送学習パフォーマンスを向上させます。
  論文  参考訳（メタデータ） (2021-03-29T19:52:29Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。