論文の概要: Reference-Based Prosody and Rhythm Evaluation for Spoken Dialogue Systems

• arxiv url: http://arxiv.org/abs/2606.31055v1
• Date: Tue, 30 Jun 2026 02:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.045822
• Title: Reference-Based Prosody and Rhythm Evaluation for Spoken Dialogue Systems
• Title（参考訳）: 音声対話システムにおける参照型韻律とリズム評価
• Abstract要約: 一致した参照規則を$F_$平均、$F_$表現率、音声率、調音率、停止率、平均停止時間で構築する。 次に、パーセンタイルに基づく評価プロトコルを定義し、S2S出力波形から同じ指標を抽出し、最も近い一致したヒト参照層と比較し、パーセンタイル偏差または5番目のパーセンタイル外旗を報告する。 これらのアウトプットは、知覚的およびユーザ中心の評価を置き換えるのではなく、補完する行動的妥当性チェックとして機能する。
• 参考スコア（独自算出の注目度）: 6.928152642738297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech-to-speech (S2S) AI agents are advancing rapidly, yet evaluation lacks interpretable speech-native measures for conversational prosody and rhythm. Because $F_0$, speaking rate, articulation rate, and pausing shift with model-predicted speaker traits and interaction state, pooled human statistics can be poorly calibrated for evaluating a particular output. Using 4000+ hours of dyadic English conversation from the Seamless Interaction dataset, we construct matched reference regimes for $F_0$ mean, $F_0$ expressivity, speech rate, articulation rate, pause ratio, and mean pause duration. We then define a percentile-based evaluation protocol: extract the same metrics from an S2S output waveform, compare them to the closest matched human reference stratum, and report percentile deviations or 5th-95th percentile out-of-regime flags. On held-out human rows, pooled references over-flag state-conditioned $F_0$ expressivity and rhythm, while matched references return flag rates closer to the nominal 10% and make deviation direction interpretable. These outputs serve as behavioral plausibility checks that complement, rather than replace, perceptual and user-centered evaluation.
• Abstract（参考訳）: 音声合成(S2S)AIエージェントは急速に進歩しているが、会話の韻律とリズムの解釈可能な音声ネイティブ測度は欠如している。 F_0$, 発話率, 調音率, モデル予測話者特性と相互作用状態との相違により, プールされた人間の統計は, 特定の出力を評価するのに不十分な校正を行うことができる。 シームレス・インタラクション・データセットから4000時間以上のダイアド・イングリッシュ・会話を用いて, 平均$F_0$, $F_0$表現率, 発話速度, 調音率, 停止率, 平均停止期間の一致した参照規則を構築した。 次に、パーセンタイルに基づく評価プロトコルを定義し、S2S出力波形から同じ指標を抽出し、最も近い一致したヒト参照層と比較し、パーセンタイル偏差または5番目のパーセンタイル外旗を報告する。 ホールドアウトされたヒューマン行では、プールされた参照はオーバーフラッグ状態条件付き$F_0$表現率とリズムを持ち、マッチした参照は名目10%に近づき、逸脱方向を解釈できる。 これらのアウトプットは、知覚的およびユーザ中心の評価を置き換えるのではなく、補完する行動的妥当性チェックとして機能する。

関連論文リスト

• Not All Speech Is Intent: Adaptive Self-Correcting Inference Layer for Post-ASR False Wake-Up [2.497926557563177]
  会話型AIでは、偽の起動アクティベーションは依然として永続的な課題である。 フィードバック駆動型適応型自己修正型推論層(ASCIL)について紹介する。 ASCILは、音響埋め込み、言語的手がかり、デバイスコンテキスト、過去の誤分類からのパターンを融合させることで、応答生成前の覚醒意図を再評価する。
  論文  参考訳（メタデータ） (2026-09-11T06:06:06Z)
• Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
  フル音声言語モデル(FDSLM)における予測行動の解析 FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
  論文  参考訳（メタデータ） (2026-06-09T19:08:07Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics [11.326630899294004]
  本稿では,ASRシステムによって生成される転写誤りの人間の知覚の観点から,フランス語で手動で注釈付きデータセットを提示する。 本研究では,ヒトの嗜好とASR評価指標との関係について検討した。
  論文  参考訳（メタデータ） (2026-04-30T07:48:20Z)
• S2SBench: A Benchmark for Quantifying Intelligence Degradation in Speech-to-Speech Large Language Models [14.060679420379516]
  エンドツーエンドの音声大言語モデル(LLM)は、音声トークンを直接処理し、生成するテキストベースモデルの能力を拡張している。 これはしばしばテキスト入力と比較して推論と生成性能が低下する。 音声LLMの性能劣化を定量化するベンチマークであるS2SBenchを提案する。
  論文  参考訳（メタデータ） (2025-05-20T14:42:20Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)
• End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system [61.148549738631814]
  エンドツーエンド(E2E)音声認識アーキテクチャは、従来の音声認識システムのすべてのコンポーネントを単一のモデルに組み立てる。 これはASRシステムを単純化するが、文脈的ASRの欠点を導入している: E2Eモデルは、頻繁な固有名詞を含む発話に対して、より悪い性能を持つ。 本稿では,文脈的単語認識能力を向上させるために,文脈バイアスアテンション(CBA)モジュールをアテンションベースエンコーダデコーダ(AED)モデルに追加することを提案する。
  論文  参考訳（メタデータ） (2022-02-18T03:26:02Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。