論文の概要: Perceptual Quality Loss or Loss of Perceptual Quality?

• arxiv url: http://arxiv.org/abs/2609.35054v1
• Date: Mon, 28 Sep 2026 12:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:24:49.33919
• Title: Perceptual Quality Loss or Loss of Perceptual Quality?
• Title（参考訳）: 知覚的品質損失と知覚的品質損失
• Abstract要約: PESQに最適化されたモデルは、テストセットにおいて自然により高いPSSQスコアを得るが、他のほとんどの指標では、スコアは著しく変化しない。 正式なリスニング実験により、PSSQの損失のないモデルは、一般的にすべての設定で、それを含むモデルよりも好まれることが明らかになった。 本研究は、PSSQに対する過度信頼の危険性を強調し、SEの完全評価手順の重要性を強調した。
• 参考スコア（独自算出の注目度）: 30.072053043929042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contemporary deep speech enhancement (SE) models are often trained with specific auxiliary terms in the loss function as a way to improve their performance in terms of perceptual metrics. Nevertheless, a higher score on a perceptual metric does not necessarily correlate with an improved listening experience. Through objective and subjective experiments, we assess the performance of SE models trained with two different types of auxiliary PESQ loss terms. The numerical evaluation on a suite of standard metrics suggests that, while models optimized for PESQ naturally obtain higher PESQ scores in the test set, for most other metrics the scores do not significantly change. In some cases, the PESQ loss even results in worse PESQ scores on mismatched data. A formal listening experiment reveals that the models without a PESQ loss were generally preferred over models that include it, across all settings. Finally, we analyze the relative importance of PESQ in the composite metrics CSIG, CBAK and COVL, and find that PESQ dominates all of them. Our study highlights the perils of over-reliance on PESQ and stresses the importance of a complete evaluation procedure for SE.
• Abstract（参考訳）: 現代ディープスピーチ強化(SE)モデルは、知覚的メトリクスの観点から、その性能を改善する手段として、損失関数の特定の補助用語で訓練されることが多い。 それでも、知覚的メートル法における高いスコアは、聴取経験の改善と必ずしも相関しない。 主観的および主観的な実験を通じて、2種類のPESQ損失項を用いて訓練したSEモデルの性能を評価する。 PESQに最適化されたモデルは、テストセットで自然により高いPSSQスコアを得るが、他のほとんどの指標では、スコアは著しく変化しない。 一部のケースでは、PSSQの損失により、ミスマッチしたデータに対するPSSQのスコアが悪化する。 正式なリスニング実験により、PSSQの損失のないモデルは、一般的にすべての設定で、それを含むモデルよりも好まれることが明らかになった。 最後に、CSIG、CBAK、COVLの複合指標におけるPESQの相対的重要性を分析し、PESQがこれら全てを支配していることを確認する。 本研究は、PSSQに対する過度信頼の危険性を強調し、SEの完全評価手順の重要性を強調した。

関連論文リスト

• Don't `Well, Actually' Me Unless You Know What You're Talking About: Weak Presupposition Verification Degrades General QA Performance [20.721314515201286]
  FPQA(False-presupposition QA)は、疑問における偽の前提を識別する能力に基づいてLLMをテストする。 FPQでは, TPQでは性能が良く, TPQでは性能が悪くなる傾向にある。
  論文  参考訳（メタデータ） (2026-08-06T19:43:10Z)
• The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech [0.21173245847195934]
  我々は、参照なし品質予測器を優先最適化のための報酬信号としてテストする。 我々は、各予測器をペアワイズタスクで評価し、スコアの高いクリップがクリップリスナーの好むクリップかどうかを問う。 1つのクリップが可聴性欠陥を持つ場合、予測者はリスナーと一致する傾向がある。
  論文  参考訳（メタデータ） (2026-07-02T14:46:23Z)
• Understanding Software Defect Prediction: A Large-scale Empirical Study Across Uncertainty Quantification and Performance Evaluation [12.540031438888716]
  ソフトウェア欠陥予測(SDP)分類器は、検査優先順位付け、しきい値調整、リスクコミュニケーションに使用される確率を生成する。 SDPに対する確率ベース不確実性定量化(UQ)の大規模実験を行った。 5つのUQ指標、6つのパフォーマンス指標、3つのキャリブレーション指標を16の代表的な分類器で評価した。
  論文  参考訳（メタデータ） (2026-07-02T08:05:27Z)
• Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering [7.1559850008795385]
  大きな言語モデル(LLM)は質問回答(QA)設定で一般的に使用される。 既存のUQアプローチは、科学的QAでは弱い検証が残っている。 推論要求QAにおけるUQ指標を評価するための,最初の大規模ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-01-30T20:02:34Z)
• AURA Score: A Metric For Holistic Audio Question Answering Evaluation [57.042210272137396]
  AQAメトリクスのシステマティックなベンチマークを可能にするために、AQEvalを導入します。 これはこの種の最初のベンチマークであり、その正確さと妥当性のために、複数の人間が注釈付けした10kモデル応答で構成されている。 第2に、既存のAQAメトリクスをAQEval上で総合的に分析し、人間の判断と弱い相関を明らかにする。 第3に、オープンなモデル応答をよりよく評価するための新しい指標であるAURAスコアを提案する。
  論文  参考訳（メタデータ） (2025-10-06T15:41:34Z)
• The PESQetarian: On the Relevance of Goodhart's Law for Speech Enhancement [17.516851319183555]
  本稿では,広く使用されているPSSQ尺度を利用した拡張モデルを提案する。 得られた3.82のPSSQ値は、VB-DMDベンチマークで「最先端」のPSSQ性能を示すが、我々の例では、計量をw.r.t.に最適化すると、同じ計量上で孤立した評価が誤解を招く可能性がある。
  論文  参考訳（メタデータ） (2024-06-05T17:07:39Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。