論文の概要: Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models

• arxiv url: http://arxiv.org/abs/2510.25577v1
• Date: Wed, 29 Oct 2025 14:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.709224
• Title: Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models
• Title（参考訳）: 発声における損失:音声基礎モデルの評価次元としての声質変化
• Authors: Harm Lameris, Shree Harsha Bokkahalli Satish, Joakim Gustafson, Éva Székely,
• Abstract要約: 音声基礎モデル(SFM)は、中間テキスト表現をバイパスし、生音声から音声言語の直接処理を可能にする。 この能力により、SFMは入力音声信号に埋め込まれた豊富なパラ言語的バリエーションに露出し、潜在的に応答することができる。 本研究では,音質の合成を特徴とする新たな並列データセットを提案する。
• 参考スコア（独自算出の注目度）: 22.710371114925763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in speech foundation models (SFMs) have enabled the direct processing of spoken language from raw audio, bypassing intermediate textual representations. This capability allows SFMs to be exposed to, and potentially respond to, rich paralinguistic variations embedded in the input speech signal. One under-explored dimension of paralinguistic variation is voice quality, encompassing phonation types such as creaky and breathy voice. These phonation types are known to influence how listeners infer affective state, stance and social meaning in speech. Existing benchmarks for speech understanding largely rely on multiple-choice question answering (MCQA) formats, which are prone to failure and therefore unreliable in capturing the nuanced ways paralinguistic features influence model behaviour. In this paper, we probe SFMs through open-ended generation tasks and speech emotion recognition, evaluating whether model behaviours are consistent across different phonation inputs. We introduce a new parallel dataset featuring synthesized modifications to voice quality, designed to evaluate SFM responses to creaky and breathy voice. Our work provides the first examination of SFM sensitivity to these particular non-lexical aspects of speech perception.
• Abstract（参考訳）: 音声基礎モデル(SFM)の最近の進歩は、中間テキスト表現をバイパスして、生音声からの音声言語の直接処理を可能にしている。 この能力により、SFMは入力音声信号に埋め込まれた豊富なパラ言語的バリエーションに露出し、潜在的に応答することができる。 パラ言語的変奏の未探索次元の1つは声質であり、クレーキーや息切れのような発声タイプを含んでいる。 これらの発声タイプは、聴取者が言語における情緒的状態、姿勢、社会的意味をどう推測するかに影響を与えることが知られている。 既存の音声理解のベンチマークは、失敗しがちなマルチチョイス質問応答(MCQA)フォーマットに大きく依存しているため、非言語的特徴がモデル行動に影響を与えるニュアンスな方法の取得には信頼性が低い。 本稿では,SFMをオープンな生成タスクと音声感情認識を通じて探索し,異なる音素入力間でモデル動作が一致しているかどうかを評価する。 本研究では,音質の合成を特徴とする新たな並列データセットを提案する。 本研究は,音声知覚の非語彙的側面に対するSFM感度の最初の検討である。

関連論文リスト

• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics [54.03209351287654]
  本稿では,音声対話システムのターンテイク能力を評価するための新しい評価プロトコルを提案する。 本稿では,既存の音声対話システムをターンテイクイベントの実行能力に基づいて評価する,初めての包括的ユーザスタディを提案する。 我々は、高度な対話型AIシステムの開発を促進するために、評価プラットフォームをオープンソース化する。
  論文  参考訳（メタデータ） (2025-03-03T04:46:04Z)
• Emotional Listener Portrait: Realistic Listener Motion Simulation in Conversation [50.35367785674921]
  リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。 このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。 本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。 ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
  論文  参考訳（メタデータ） (2023-09-29T18:18:32Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Audio is all in one: speech-driven gesture synthetics using WavLM pre-trained model [2.827070255699381]
  diffmotion-v2は、WavLM事前学習モデルを用いた音声条件拡散に基づく生成モデルである。 生音声のみを使用して、個人的でスタイリングされたフルボディの音声合成ジェスチャを生成することができる。
  論文  参考訳（メタデータ） (2023-08-11T08:03:28Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Facetron: Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations [22.14238843571225]
  個人の顔の映像を条件付けして、話者固有の音声波形を合成する効果的な方法を提案する。 唇読解モデルを用いて唇の動きから言語的特徴を抽出し,顔画像から話者特性を予測する。 本稿では,従来の手法よりも客観評価と主観評価の両面において,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-26T07:36:02Z)
• Few Shot Adaptive Normalization Driven Multi-Speaker Speech Synthesis [18.812696623555855]
  複数発話音声合成手法 (FSM-SS) を提案する。 FSM-SSは、未確認者の入力テキストと参照音声サンプルから、その人のスタイルで数ショットで音声を生成することができる。 正規化のアフィンパラメータがエネルギーや基本周波数などの韻律的特徴を捉えるのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-12-14T04:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。