論文の概要: Scalable Direction-Following TTS via Voice Impression-Guided Pseudo Triplet Construction

• arxiv url: http://arxiv.org/abs/2609.02623v1
• Date: Wed, 02 Sep 2026 14:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.405192
• Title: Scalable Direction-Following TTS via Voice Impression-Guided Pseudo Triplet Construction
• Title（参考訳）: 音声印象誘導擬似三重奏による拡張方向追従TTS
• Abstract要約: そこで,本研究では,基準発話に対して所定の方向を反映する新たな発話を生成する方向追従TSSについて検討する。 主な課題は、そのような相対的な修正をキャプチャするトレーニングデータの欠如である。 本稿では,参照発話,方向テキスト,修正発話)の三重項を生成する,スケーラブルな擬似三重項構築パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 16.024524623990484
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Voice actors often re-read the same script while modifying their delivery in response to performance directions. We study this setting as direction-following TTS, where a system generates a new utterance that reflects a given direction relative to a reference utterance while preserving speaker identity and linguistic content. A key challenge is the lack of training data capturing such relative modifications. To address this, we propose a scalable pseudo-triplet construction pipeline that generates~(reference utterance, direction text, modified utterance) triplets. It generates controlled style variations using an impression-controllable TTS model and uses an LLM to produce natural language directions from estimated impression differences. Experimental results demonstrate that pseudo-triplets alone enable stable speaker-preserving modification, and that combining pseudo and recorded data further improves direction alignment while maintaining speaker similarity. Audio examples are available on our demo page https://ntt-hilab-gensp.github.io/IS2026pseudo/
• Abstract（参考訳）: 声優はしばしば、パフォーマンスの指示に応じて配信を変更しながら、同じスクリプトを読み直す。 本研究では、この設定を方向追従TSSとして検討し、システムは話者のアイデンティティと言語内容を保持しながら、参照発話に対して所定の方向を反映する新しい発話を生成する。 重要な課題は、そのような相対的な修正をキャプチャするトレーニングデータの欠如である。 そこで本稿では, 参照発話, 方向テキスト, 修正発話) 三重項を生成する, スケーラブルな擬似三重項構築パイプラインを提案する。 印象制御可能なTSモデルを用いて制御スタイルのバリエーションを生成し,LLMを用いて推定印象差から自然言語方向を生成する。 実験結果から,擬似トリップだけで安定した話者保存調整が可能であり,擬似データと記録データを組み合わせることで,話者類似性を保ちながら方向アライメントがさらに向上することが示された。 オーディオサンプルは、私たちのデモページ https://ntt-hilab-gensp.github.io/IS2026pseudo/ で公開されています。

関連論文リスト

• OAA: Three Phases of Vocal Guidance in Human-Drone Teleoperation [1.3868431756593296]
  自発性発声指導は,声道順応,アプローチ,調整の3段階に連続的に編成されることを示す。 音声誘導遠隔操作におけるOAA対応制御の意義について論じる。
  論文  参考訳（メタデータ） (2026-08-11T08:35:08Z)
• ControlAudio: Tackling Text-Guided, Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modeling [26.333732366091912]
  我々は,制御可能なTTA生成をマルチタスク学習問題として再キャストし,プログレッシブ拡散モデリング手法であるControlAudioを導入する。 本手法は, ステップバイステップ戦略により, テキスト, タイミング, 音素の特徴を含む, よりきめ細かな情報に適合する。 実験により,コントロールアウディオは時間的精度と発話明瞭度の観点から最先端のパフォーマンスを達成し,客観評価と主観評価の両方において既存の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-10-10T00:19:41Z)
• VStyle: A Benchmark for Voice Style Adaptation with Spoken Instructions [66.93932684284695]
  音声理解と生成のための統一パラダイムとして、音声言語モデル(SLM)が登場した。 音声スタイル適応(VSA)は,SLMが話し方を変更することができるかどうかを調べる新しいタスクである。 音響属性,自然言語命令,ロールプレイ,暗黙の共感の4つのカテゴリを網羅したベンチマークであるVStyleを提案する。 また,Large Audio Language Model as a Judge (LALM as a Judge) フレームワークを導入し,文章の忠実性,スタイルの忠実性,自然性に沿って出力を段階的に評価する。
  論文  参考訳（メタデータ） (2025-09-09T14:28:58Z)
• Voice Impression Control in Zero-Shot TTS [15.46515385197271]
  ゼロショット音声合成における音声印象制御法を開発した。 様々な音声印象対の強度を表現するために低次元ベクトルを用いる。 主観的評価と主観的評価の両方の結果から,印象制御における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-06-06T02:34:29Z)
• Enhancing the Stability of LLM-based Speech Generation Systems through Self-Supervised Representations [14.437646262239612]
  自己教師型音声変換(VC)アーキテクチャは、話者IDや記録条件などの定常的な特徴とは独立して、コンテンツなどのトランジッショナルな特徴を符号化し、話者不整合表現を作成するために使用することができる。 テキスト・トゥ・スポーチ(TTS)のためのLLMの訓練に話者区別符号を使用すると、LLMは人間と同様にテキストからのみ音声の内容とスタイルを生成することができ、一方、話者識別はVCモデルのデコーダによって提供される。 結果から,LLMの自己教師表現による訓練が4.7ppの改善をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-05T15:08:19Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。 我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)
• Controllable Emphasis with zero data for text-to-speech [57.12383531339368]
  強調音声を簡易かつ効果的に処理する方法は、強調単語の予測持続時間を増加させることである。 これは自然度を7.3%向上させるスペクトログラム修正手法よりもはるかに優れていることを示し、基準女性のen-US音声に対して、文章中の強調された単語の正しさを40%精度で識別する。
  論文  参考訳（メタデータ） (2023-07-13T21:06:23Z)
• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• Align, Write, Re-order: Explainable End-to-End Speech Translation via Operation Sequence Generation [37.48971774827332]
  後から再注文する方法を記憶しながら,STトークンをアウト・オブ・オーダーで生成することを提案する。 本研究は, モノトニック文字起こしと非モノトニック翻訳を可能にする2種類の操作シーケンスについて検討する。
  論文  参考訳（メタデータ） (2022-11-11T02:29:28Z)
• Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for Text-to-Speech [88.22544315633687]
  ポリホンの曖昧さは, 音声合成システムにおいて, 自然なテキストシーケンスから正確な発音知識を抽出することを目的としている。 オンラインウェブサイト辞書を用いた意味認識型テキスト音声合成モデルであるDict-TTSを提案する。 3つの言語による実験結果から,我々のモデルは発音精度においていくつかの強いベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-05T10:50:34Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。