論文の概要: Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
- arxiv url: http://arxiv.org/abs/2608.09930v1
- Date: Mon, 10 Aug 2026 17:59:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.429688
- Title: Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
- Title（参考訳）: 自然性を超えて:言語的接地次元に基づく自動テキスト音声評価器の提案
- Abstract要約: テキスト・トゥ・スピーチ (TTS) 評価法は, 人間の知覚を反映することが期待される。
リスナーが実際に知覚する音声の異なる側面をいかにうまく捉えているかは、はっきりしない。
訓練言語学習者による860の発話を含むTSの1段階メタ評価ベンチマークを構築した。
- 参考スコア（独自算出の注目度）: 3.2559302660048597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated Text-to-Speech (TTS) evaluation methods (Mean Opinion Score (MOS) predictors and Audio Large Language Models (Audio-LLM) judges) are expected to reflect human perception, yet it is unclear how well they capture the distinct aspects of speech that listeners actually perceive. We deconstruct "naturalness" into a linguistically grounded annotation schema spanning 10 distinct perceptual dimensions, and use it to construct the first dimension-level meta-evaluation benchmark for TTS, comprising 860 utterances annotated by trained linguist raters. Results from benchmarking four MOS predictors and four Audio-LLM judges reveal that MOS predictors collapse onto acoustic signal quality, while Audio-LLM judges show selective, prompt-dependent detection that does not generalise across all dimensions. Neither class reliably captures a breadth of linguistically structured speech errors. Our dataset, annotation schema, and evaluation code are publicly released to support more targeted and interpretable TTS evaluation.
- Abstract（参考訳）: MOS(Mean Opinion Score)予測器とAudio-LLM(Audio-LLM)判断器(Audio-LLM)判定器(Mean Opinion Score)評価法は,人間の知覚を反映することが期待されるが,聴取者が実際に知覚する音声の異なる側面をいかに捉えているかは明らかになっていない。
10の異なる知覚次元にまたがる言語基盤のアノテーションスキーマに「自然性」を分解し、それを用いて、訓練された言語学者が注釈付けした860の発話を含む、TSの最初の次元レベルのメタ評価ベンチマークを構築した。
4つのMOS予測器と4つのAudio-LLMの判定器をベンチマークした結果、MOS予測器は音響信号の品質に崩壊し、Audio-LLMの判定器は全次元にわたって一般化しない選択的、即時的な検出を示す。
どちらのクラスも言語的に構造化された音声誤りを確実に捉えていない。
我々のデータセット、アノテーションスキーマ、評価コードは、よりターゲット的で解釈可能なTS評価をサポートするために公開されています。
関連論文リスト
- Domain-Specific Evaluation of Text-to-Speech Systems: A Multi-Metric Benchmarking Study [1.224954637705144]
本稿では,現代のTSシステムのシステム評価のための再現可能なマルチメトリックベンチマークフレームワークを提案する。
Indic-Parler-TTS, MMS-TTS, Microsoft Edge TTS, Google Gemini TTSの4つの最先端TSシステムを評価した。
その結果、音声領域間でのTTS性能のかなりの変動が明らかとなり、感情的な音声は、常に最大の合成課題を提示する。
論文 参考訳（メタデータ） (2026-08-03T13:49:11Z) - Towards a Phonology-Informed Evaluation of Multilingual TTS [3.0071070245633127]
ニューラルTSシステムは言語間で自然に聞こえるが、自然性は、単語と文法形式を区別する音のコントラストの保存を保証するものではない。
本稿では,人間の音声をベンチマークとして,TTS出力を言語固有の音韻パターンに対して評価する分類器ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-02T09:57:54Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild [40.210224623581155]
マルチモーダル大規模言語モデル (LLM) は直接音声対話の強力な機能を示している。
既存の評価手法は、しばしばテキストベースのベンチマークに適応し、音声の特徴や課題を見下ろしている。
本稿では,実践会話におけるエンドツーエンドの音声LLMを体系的に評価するために設計された,最初の総合的ベンチマークを紹介する。
論文 参考訳（メタデータ） (2025-06-27T03:18:45Z) - Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。
近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。
以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
論文 参考訳（メタデータ） (2025-05-25T08:37:55Z) - Audio Turing Test: Benchmarking the Human-likeness of Large Language Model-based Text-to-Speech Systems in Chinese [36.208204572097046]
我々は,多次元中国語コーパスデータセットATT-Corpusとチューリングテストにインスパイアされた評価プロトコルの組み合わせであるAudio Turing Test (ATT)を紹介する。
ATTは評価者に声が人間に聞こえるかどうかを判断するよう依頼する。
また、自動評価のためのオートATTとして、人間の判断データを用いたQwen2-Audio-Instructを微調整する。
論文 参考訳（メタデータ） (2025-05-16T12:57:23Z) - CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。
本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。
我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
論文 参考訳（メタデータ） (2024-09-19T17:59:52Z) - Listen and Speak Fairly: A Study on Semantic Gender Bias in Speech Integrated Large Language Models [38.64792118903994]
SILLMのジェンダーバイアスを4つの意味的タスクで評価した。
分析の結果, バイアスレベルは言語に依存し, 評価方法によって異なることが明らかとなった。
論文 参考訳（メタデータ） (2024-07-09T15:35:43Z) - An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。
本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-06-13T08:16:52Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T08:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。