論文の概要: Less can be More: What Aspects of Speech Drive End-of-Turn Detection
- arxiv url: http://arxiv.org/abs/2609.11066v1
- Date: Thu, 10 Sep 2026 04:12:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.210128
- Title: Less can be More: What Aspects of Speech Drive End-of-Turn Detection
- Title(参考訳): より少ないもの:音声駆動終端検出の諸側面
- Abstract要約: 本稿では,旋回検出のストリーム終端に対する音響,韻律,意味信号の制御アブレーションを提案する。
音響韻律の組み合わせは精度とレイテンシの最良のバランスを達成し、発声F1は0.93で、7.8%の誤報を400msの中央遅延で達成する。
これらの結果から,ターンテイキングは主に意味的完全性ではなく,イントネーションとサイレントパターンを通じて行われることが示唆された。
- 参考スコア(独自算出の注目度): 9.346575412483519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In conversational AI, detecting when a speaker has finished talking is crucial for natural turn taking. While recent work incorporates semantics, the relative contribution of different modalities remains unclear. We present a controlled ablation of acoustic, prosodic, and semantic signals for streaming end of turn detection using a lightweight trimodal classifier. Under identical training conditions, the acoustic prosodic combination achieves the best balance of accuracy and latency, achieving utterance F1 of 0.93 with 7.8% false alarms at 400ms median latency. Adding text increases premature detections without improving performance. Feature space analysis confirms that prosodic features have the strongest class separability, while text representations overlap substantially. These findings suggest that turn-taking is primarily conveyed through intonation and silence patterns rather than semantic completeness, enabling faster and more reliable systems without expensive text inference.
- Abstract(参考訳): 会話型AIでは、話者がいつ話が終わったかを検出することは自然なターンテイクに不可欠である。
最近の研究は意味論を取り入れているが、異なるモダリティの相対的な寄与はいまだ不明である。
軽量な三モーダル分類器を用いて, 旋回検出のストリーム終端に対する音響, 韻律, 意味信号の制御アブレーションを提案する。
同一の訓練条件下では、音響韻律の組み合わせは精度とレイテンシの最良のバランスを達成し、発話のF1は0.93で、誤報は7.8%で400msの中央遅延で達成される。
テキストの追加は、パフォーマンスを向上することなく、早期検出を増加させる。
特徴空間解析により、韻律的特徴が最強のクラス分離性を持ち、テキスト表現が著しく重なることを確認した。
これらの結果は、ターンテイクは意味的完全性よりも、イントネーションやサイレントパターンを通じて主に伝達され、高価なテキスト推論のないより高速で信頼性の高いシステムを可能にすることを示唆している。
関連論文リスト
- CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳(メタデータ) (2026-08-09T11:10:20Z) - Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
音声とテキストの表現が階層的にどのように進化するかを分析する。
音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
論文 参考訳(メタデータ) (2026-03-02T06:21:43Z) - Leveraging Prediction Entropy for Automatic Prompt Weighting in Zero-Shot Audio-Language Classification [19.724558192829093]
本稿では,予測信頼度を最大化するために,コントリビューションの頑健な組み合わせを見つけることを目的としたエントロピー誘導型プロンプト重み付け手法を提案する。
我々の手法は個々のサンプルやオーディオサンプルに応用でき、追加のラベルを必要とせず、無視できる計算オーバーヘッドを発生させる。
論文 参考訳(メタデータ) (2026-01-08T15:11:04Z) - When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models [48.94367629342966]
非形式的音声でさえ精度を低下させ、予測ボラティリティを増大させる。
サイレンスはしばしば中立であると仮定されるが、出力を合成ノイズと同じくらい強く不安定にする。
この結果から, 相互干渉が重要な課題であることが明らかとなり, 効率的な核融合戦略の必要性が浮き彫りとなった。
論文 参考訳(メタデータ) (2025-10-01T07:59:45Z) - Diversity Boosts AI-Generated Text Detection [51.56484100374058]
DivEyeは、予備的な機能を使って、予測不可能がテキスト間でどのように変動するかをキャプチャする、新しいフレームワークである。
提案手法は、既存のゼロショット検出器を最大33.2%向上させ、微調整ベースラインとの競合性能を達成する。
論文 参考訳(メタデータ) (2025-09-23T10:21:22Z) - High-Fidelity Speech Synthesis with Minimal Supervision: All Using
Diffusion Models [56.00939852727501]
最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。
非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
論文 参考訳(メタデータ) (2023-09-27T09:27:03Z) - TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。
我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。
TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2022-05-25T06:34:14Z) - Analysis of Joint Speech-Text Embeddings for Semantic Matching [3.6423306784901235]
ペア音声と書き起こし入力の距離を最小化することにより,セマンティックマッチングのために訓練された共同音声テキスト埋め込み空間について検討する。
我々は,事前学習とマルチタスクの両方のシナリオを通じて,音声認識を組み込む方法を拡張した。
論文 参考訳(メタデータ) (2022-04-04T04:50:32Z) - End-to-End Active Speaker Detection [58.7097258722291]
本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。
また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。
実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2022-03-27T08:55:28Z) - Emphasis control for parallel neural TTS [8.039245267912511]
音声信号によって伝達される意味情報は、韻律の局所的な変化に強く影響される。
近年のパラレル・ニューラルテキスト・トゥ・音声(TTS)法は,高性能を維持しつつ高い忠実度で音声を生成することができる。
本稿では,重心変化に対応する潜在空間を学習することにより,韻律強調制御のための階層型並列型ニューラルネットワークTSシステムを提案する。
論文 参考訳(メタデータ) (2021-10-06T18:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。