論文の概要: Speech LLMs That Breathe: Modeling Non-Verbal Vocalizations in Dialogue

• arxiv url: http://arxiv.org/abs/2610.25942v1
• Date: Mon, 19 Oct 2026 07:36:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:30:13.247082
• Title: Speech LLMs That Breathe: Modeling Non-Verbal Vocalizations in Dialogue
• Title（参考訳）: 発声音声LLM:対話における非言語音声のモデル化
• Abstract要約: 人間のコミュニケーションは、呼吸、情緒、会話にまたがる非言語発声(NVV)に関する広範な規範に従っている。 本研究では,人間の会話規範に適合する自然な対話データセットを,自動合成パイプラインを用いて構築する。 我々は,多段階微調整とNVV対応GRPOを用いて,文脈的に適切なNVVイベントを生成する音声対話モデルの能力を強化する。
• 参考スコア（独自算出の注目度）: 31.429827556709483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The user experience of speech interaction models has improved, benefiting from the modeling of paralinguistic attributes and advances in speech reconstruction paradigms. However, human communication follows extensive norms regarding non-verbal vocalizations (NVVs) spanning respiratory, affective, and discourse. The omission of these events imposes inherent limitations on the naturalness of current approaches. In this work, we cover 13 major types of NVVs and construct a natural dialogue dataset that conforms to human conversational norms through an automated synthesis pipeline. We enhance the ability of speech interaction models to generate contextually appropriate NVV events through multi-stage fine-tuning and NVV-aware GRPO (Group Relative Policy Optimization). Based on distinct modeling paradigms, we substantially improve the expressiveness of VocalNet and VITA-Qinyu in empathy interactions and role-play dialogues, and further discuss the architectural necessity for achieving high-quality natural speech generation.
• Abstract（参考訳）: 音声対話モデルのユーザエクスペリエンスは改善され、パラ言語的属性のモデリングと音声再構成パラダイムの進歩の恩恵を受けている。 しかしながら、人間のコミュニケーションは、呼吸、情緒、会話にまたがる非言語発声(NVV)に関する広範な規範に従っている。 これらの事象の排除は、現在のアプローチの自然性に固有の制限を課している。 本研究では,13種類のNVVを網羅し,人間の会話規範に適合する自然な対話データセットを自動合成パイプラインで構築する。 我々は,多段階微調整とNVV対応GRPO(Group Relative Policy Optimization)により,文脈的に適切なNVVイベントを生成する音声対話モデルの能力を高める。 異なるモデリングパラダイムに基づいて,共感相互作用やロールプレイ対話におけるVocalNetとVITA-Qinyuの表現性を大幅に向上させ,高品質な自然言語生成を実現する上でのアーキテクチャ的必要性について論じる。

関連論文リスト

• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• GOAT-SLM: A Spoken Language Model with Paralinguistic and Speaker Characteristic Awareness [43.67571101152883]
  本稿では,パラ言語的・話者的特徴認識を備えた新しい言語モデルGOAT-SLMを紹介する。 GOAT-SLMは、言語モデリングを音響的実現から切り離すデュアルモダリティヘッドアーキテクチャを採用している。 GOAT-SLMはセマンティックタスクと非セマンティックタスクの両方でバランスよく動作し、既存のオープンソースモデルよりも感情や方言の変化、年齢に敏感なインタラクションを処理できることを示す。
  論文  参考訳（メタデータ） (2025-07-24T06:10:29Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction [59.44357187878676]
  話者に依存しない双方向音声対話学習を実現するために,新しい生成モデルパラダイムであるNext-Token-Pair Prediction(NTPP)を導入する。 提案手法であるNTPPは, ターンテイク予測, 応答コヒーレンス, 自然性の観点から, SLMの会話能力を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-06-01T12:01:40Z)
• Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
  ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。 私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。 実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-14T03:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。