論文の概要: VITA-QinYu: Expressive Spoken Language Model for Role-Playing and Singing

• arxiv url: http://arxiv.org/abs/2605.06765v1
• Date: Thu, 07 May 2026 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.523095
• Title: VITA-QinYu: Expressive Spoken Language Model for Role-Playing and Singing
• Title（参考訳）: VITA-QinYu:ロールプレイングと歌唱のための表現型音声言語モデル
• Abstract要約: ロールプレイングと歌声生成の両方をサポートする最初のエンド・ツー・エンド(E2E)音声言語モデルであるVITAQinYuを提案する。 我々は,自然会話,ロールプレイング,歌唱データを15.8K時間合成して訓練を行う。 VITAQinYuは、5ポイントのMOSスケールでピアモデルを0.13ポイント上回り、対物的なロールプレイングベンチマークでピアSLMを7ポイント上回っている。
• 参考スコア（独自算出の注目度）: 17.32511504880848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human speech conveys expressiveness beyond linguistic content, including personality, mood, or performance elements, such as a comforting tone or humming a song, which we formalize as role-playing and singing. We present VITA-QinYu, the first expressive end-to-end (E2E) spoken language model (SLM) that goes beyond natural conversation to support both role-playing and singing generation. VITA-QinYu adopts a hybrid speech-text paradigm that extends interleaved text-audio modeling with multi-codebook audio tokens, a design enabling richer paralinguistic representation while preserving a clear separation between modalities to avoid interference. We further develop a comprehensive data generation pipeline to synthesize a total of 15.8K hours of natural conversation, role-playing, and singing data for training. VITA-QinYu demonstrates superior expressiveness, outperforming peer SLMs by 7 percentage points on objective role-playing benchmarks, and surpassing peer models by 0.13 points on a 5-point MOS scale for singing. Simultaneously, it achieves state-of-the-art conversational accuracy and fluency, exceeding prior SLMs by 1.38 and 4.98 percentage points on the C3 and URO benchmarks, respectively. We open-source our code and models and provide an easy-to-use demo with full-stack support for streaming and full-duplex interaction.
• Abstract（参考訳）: 人間のスピーチは、人格、気分、演奏要素など、言語的内容を超えた表現力、例えば快適なトーンや歌のハミングなど、私たちはロールプレイングや歌として形式化します。 我々は,ロールプレイングと歌声生成の両方をサポートするために,自然会話を超越した最初の表現型エンドツーエンド言語モデル (E2E) であるVITA-QinYuを提案する。 VITA-QinYuは、マルチコードブック音声トークンによるインターリーブテキストオーディオモデリングを拡張したハイブリッド音声テキストパラダイムを採用している。 我々はさらに、自然会話、ロールプレイング、およびトレーニングのための歌唱データの合計15.8K時間の総合データ生成パイプラインを開発する。 VITA-QinYuは、優れた表現性を示し、客観的なロールプレイングベンチマークでピアSLMを7ポイント上回り、歌唱のための5ポイントMOSスケールでピアモデルを0.13ポイント上回る。 同時に、C3ベンチマークとUROベンチマークでそれぞれ1.38ポイントと4.98ポイントのSLMを上回り、最先端の会話精度と流速を達成する。 当社はコードとモデルをオープンソースとして公開し、ストリーミングとフル二重インタラクションをフルスタックでサポートする、使いやすいデモを提供しています。

関連論文リスト

• Qwen-Audio-3.0-ASR Technical Report [52.28849889799101]
  本稿では,Mixture-of-Experts (MoE) LLM-based ASRシステムであるQwen-Audio-3.0-ASRを提案する。 Qwen-Audio-3.0-ASRは8つの主要方言領域にまたがる30の言語と16の中国語方言の転写をサポートしている。 レイテンシに敏感なアプリケーションのための専用ストリーミング変種Qwen-Audio-3.0-ASR-Streamingを開発した。
  論文  参考訳（メタデータ） (2026-09-07T14:30:56Z)
• AudioRole: An Audio Dataset for Character Role-Playing in Large Language Models [37.08066082275261]
  AudioRoleは、13のテレビシリーズから1K以上の時間と1M以上の文字による対話を正確に収集したデータセットだ。 話者識別とコンテキストメタデータを付加した同期オーディオテキストペアを提供する。 データセットの有効性を示すために,デュアルアスペクト評価フレームワークであるARP-Evalを導入した。
  論文  参考訳（メタデータ） (2025-09-27T18:08:51Z)
• OmniCharacter: Towards Immersive Role-Playing Agents with Seamless Speech-Language Personality Interaction [123.89581506075461]
  OmniCharacter は,低レイテンシで没入型 RPA を実現するための対話型対話モデルである。 具体的には、OmniCharacterは、エージェントが相互作用を通して、ロール固有の性格特性と声質特性を一貫して表示できるようにする。 提案手法は,既存のRPAモデルや主流言語モデルと比較して,応答遅延を289msに抑えながら,内容とスタイルの両面で優れた応答が得られる。
  論文  参考訳（メタデータ） (2025-05-26T17:55:06Z)
• CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training [70.31925012315064]
  野生におけるゼロショット多言語音声合成のための改良モデルであるCosyVoice 3を提案する。 CosyVoice 3の主な特徴は、韻律自然性を改善する新しい音声トークンである。 データは1万時間から100万時間に拡張され、9つの言語と18の中国語方言を含んでいる。
  論文  参考訳（メタデータ） (2025-05-23T07:55:21Z)
• MAVFlow: Preserving Paralinguistic Elements with Conditional Flow Matching for Zero-Shot AV2AV Multilingual Translation [23.892686638994043]
  条件付きフローマッチング(CFM)ゼロショットオーディオ・ヴィジュアルを提案する。 CFMを用いたマルチモーダルガイダンスを利用することで、話者固有の特徴を頑健に保存し、ゼロショットAV2AV翻訳能力を向上する。
  論文  参考訳（メタデータ） (2025-03-14T02:48:43Z)
• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)
• ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations [12.20522794248598]
  自己教師付き学習で訓練された音声表現を用いたゼロショット音声変換法を提案する。 我々は,発話を言語内容,話者特性,発話スタイルなどの特徴に分解するマルチタスクモデルを開発した。 次に,その表現から音声信号を効果的に再構成できるピッチと時間予測器を備えた合成モデルを開発する。
  論文  参考訳（メタデータ） (2023-02-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。