論文の概要: Listen Before You Speak: Response Planning from Listener Facial Reactions for Conversational Speech Generation

• arxiv url: http://arxiv.org/abs/2609.21683v1
• Date: Fri, 18 Sep 2026 12:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.079663
• Title: Listen Before You Speak: Response Planning from Listener Facial Reactions for Conversational Speech Generation
• Title（参考訳）: 話す前に聞く:会話音声生成のための聞き手顔反応からの反応計画
• Abstract要約: 本稿では,2段階のフレームワークであるReACT-TTSを提案する。このフレームワークは1秒の応答前リスナーの顔のシーケンスを用いて,音声の実現前に次の発話の感情と韻律を計画する。 厳密なDydic MELDプロトコルでは、テンポラルコンディショニングはテキストのみの10種よりも平均マクロF1とVADの一致率が高く、精度は基本的に変化しない。
• 参考スコア（独自算出の注目度）: 1.6921396880325779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational speech depends on dialogue context and the listener's immediately preceding behavior. We propose ReACT-TTS, a two-stage framework that uses a one-second pre-response listener facial sequence to plan the next utterance's emotion and prosody before speech realization. On a strict dyadic MELD protocol, Temporal conditioning yields higher mean macro-F1 and VAD concordance than Text-only across ten seeds, while accuracy remains essentially unchanged. Ablations show that temporal modeling performs best among the visual variants and that an explicit early-to-late difference is unnecessary; correct listener reactions also outperform cyclic mismatches on average. In a contextual-appropriateness study with 20 speech researchers, 76% of judgments prefer Temporal, 9% Text-only, and 15% report no preference. We further connect the predicted response style to a Grad-TTS backbone for end-to-end speech realization. Overall, the results support pre-response listener dynamics as complementary cues for conversational response planning. The source code is available at https://github.com/CYJ1/ReACT-TTS_public.
• Abstract（参考訳）: 会話音声は、会話の文脈と聴取者の直前の行動に依存する。 本稿では,2段階のフレームワークであるReACT-TTSを提案する。このフレームワークは1秒の応答前リスナーの顔のシーケンスを用いて,音声の実現前に次の発話の感情と韻律を計画する。 厳密なDydic MELDプロトコルでは、テンポラルコンディショニングはテキストのみの10種よりも平均マクロF1とVADの一致率が高く、精度は基本的に変化しない。 アブレーションは、時間的モデリングが視覚的変種の中で最も優れており、明示的な早期から後期の差は不要であり、正しいリスナー反応は平均的に循環的ミスマッチよりも優れていることを示している。 20人の音声研究者による文脈的適切性調査では、判断の76%がテンポラル、9%がテキストオンリー、15%が好ましくないと回答している。 さらに、予測された応答スタイルをGrad-TTSバックボーンに接続し、エンドツーエンドの音声認識を実現する。 全体としては,対話型応答計画のための補完的手がかりとして,応答前リスナーのダイナミクスをサポートする。 ソースコードはhttps://github.com/CYJ1/ReACT-TTS_publicで公開されている。

関連論文リスト

• Modeling and Benchmarking Spoken Dialogue Rewards with Modality and Colloquialness [45.06366615980232]
  SDiaReward-Datasetでトレーニングしたエンドツーエンドのマルチターン報酬モデルであるSDiaRewardを紹介する。 完全なマルチターン音声エピソードで直接動作し、ペアワイズ・プライオリティ・インスペクションに最適化されている。 実験により、SDiaRewardは最先端のペアの選好精度を達成することが示された。
  論文  参考訳（メタデータ） (2026-03-16T06:39:30Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis [75.74906149219817]
  Conversational Text-to-Speech (TTS) は、会話の文脈において、適切な言語的・感情的な韻律で発話を合成することを目的としている。 本稿では, 音声生成時に, 微細で粗い文脈依存性を同時に学習する, FCTalkerと呼ばれる新しい表現型会話型TSモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-27T12:20:20Z)
• Turn-Taking Prediction for Natural Conversational Speech [40.189938418201656]
  一般的な会話的発話は、ターンテイクを伴う複数のクエリを含むことが多い。 障害としては、思考の一時停止、ためらうこと、単語の延長、ポーズの充満、繰り返し句などがある。 本稿では,エンド・ツー・エンド(E2E)音声認識器上に構築されたターンテイク予測器を提案する。
  論文  参考訳（メタデータ） (2022-08-29T01:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。