論文の概要: Steering intonational tunes in text-to-speech synthesis

• arxiv url: http://arxiv.org/abs/2610.27403v1
• Date: Mon, 19 Oct 2026 23:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.553822
• Title: Steering intonational tunes in text-to-speech synthesis
• Title（参考訳）: 音声合成における国歌のステアリング
• Abstract要約: 音声合成システムのどのコンポーネントが韻律的イントネーションの原因であるかを問う。 我々は、プロンプトベースの制御がイントネーションを制御するのにほとんど失敗していることを示す。 これらのコンポーネントへの介入は、イントネーションを制御するために使用できると結論付けている。
• 参考スコア（独自算出の注目度）: 5.783140154238961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-speech systems built on residual vector quantization often generate audio in two stages: a transformer backbone emits the first level of each frame's token stack, and a smaller depth model generates the rest autoregressively. We ask which components of such a model are responsible for prosodic intonation, more precisely for generating the English nuclear tune (for instance, the falling pitch melody that distinguishes an assertion from a question's rising melody), and whether interventions on those components can be used to control intonation. Prompt-based control mostly fails; only a final question mark is a reliable lever. Interchange interventions in CSM and S2 locate the tune: the backbone's hidden state carries it to the waveform through the depth model, and the first level of the stack carries little or none of it. Steering the backbone state with a difference-of-means vector computed on new material generated with a final period or question mark moves the tune, but the push toward an assertion degrades the voice. Steering vectors computed instead from the backbone states associated with human imitations of theoretically-specified tunes, whose text carries no punctuation, and applied inside the generation loop, move most recordings to the other condition in both systems (even when fitted without the speaker being steered), at a small cost in predicted naturalness. These imitation-derived vectors are aligned with the one obtained from the two punctuated conditions far beyond a shuffled-label null, so the backbone state of a punctuated prompt already represents intonation. The steered recordings broadly become falling or rising, according to the intent, but the edge tone moves more coherently than the pitch accent, and the target tune cannot be selected precisely beyond this broad tendency.
• Abstract（参考訳）: 残差ベクトル量子化に基づいて構築されたテキスト音声合成システムは、トランスフォーマーバックボーンが各フレームのトークンスタックの第1レベルを出力し、小さな深さモデルが残りを自己回帰的に生成する。 このようなモデルのどのコンポーネントが韻律的イントネーションに責任があるのか、より正確にイングランドの核音を生成するために(例えば、質問の上昇するメロディとアサーションを区別するピッチ・メロディ)、そしてそれらのコンポーネントへの介入がイントネーションを制御するのに使えるかどうかを問う。 プロンプトベースの制御はほとんど失敗し、最後の質問マークだけが信頼できるレバーである。 CSMとS2のインターチェンジは、バックボーンの隠れた状態が深度モデルを通して波形に伝達し、スタックの第1レベルがほとんど、あるいは全く持たない。 バックボーン状態のステアリングは、最終周期または質問マークで生成された新しい素材に基づいて計算された平均ベクトルで計算されるが、アサーションへのプッシュは音声を劣化させる。 ステアリングベクトルは、理論上特定された曲の人間の模倣に関連するバックボーン状態から計算され、そのテキストは句読点を持たず、生成ループ内に適用される。 これらの模倣由来のベクトルは、シャッフルラベルヌルを超える2つの句読条件から得られるものと一致しているため、句読解プロンプトのバックボーン状態は、既にイントネーションを表している。 ステアリングされた録音は、意図により広く落下または上昇するが、エッジトーンはピッチアクセントよりもコヒーレントに動き、この広範囲な傾向を超えてターゲット曲を選択できない。

関連論文リスト

• Rhythm of the Deep: A Computational-Linguistic Test of Duality of Patterning in Sperm Whale Codas [0.0]
  我々は,ドミニカ・スペルム捕鯨計画の1,483コダを用いて,クジラ捕鯨コダにおけるパターンの二重性について検討した。 音響的類似性は記号構造を模倣できるため,連続音声からの計算言語構造として扱う。 私たちは言語、意味論、知覚、あるいは人間のような音素を主張しません。
  論文  参考訳（メタデータ） (2026-06-15T00:49:18Z)
• ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis [49.299344959162056]
  韻律は、言葉の文字通りの意味を超えた豊富な情報を含んでいる。 現在のモデルでは、フレーズやイントネーションが不足している。 本稿では,韻律を意識した音声合成モデルProsodyFMを提案する。
  論文  参考訳（メタデータ） (2024-12-16T14:07:39Z)
• AutoCycle-VC: Towards Bottleneck-Independent Zero-Shot Cross-Lingual Voice Conversion [2.3443118032034396]
  本稿では,サイクル構造とメル-スペクトログラム前処理を備えた,シンプルで堅牢なゼロショット音声変換システムを提案する。 我々のモデルは、主観的・客観的評価において、既存の最先端の成果よりも優れています。
  論文  参考訳（メタデータ） (2023-10-10T11:50:16Z)
• Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech [40.65850332919397]
  事前訓練された言語モデルに基づいて,より強力な停止挿入フレームワークを提案する。 提案手法では,大規模テキストコーパス上で事前学習した変換器(BERT)の双方向エンコーダ表現を用いる。 また、より自然なマルチスピーカTSに対して、持続時間対応の停止挿入を利用する。
  論文  参考訳（メタデータ） (2023-02-27T10:40:41Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• From Note-Level to Chord-Level Neural Network Models for Voice Separation in Symbolic Music [0.0]
  我々は、和音(和音レベル)の各音に対して別々に音符を割り当てるニューラルネットワークを訓練し、和音レベル(和音レベル)のすべての音符に共同で音符を割り当てる。 どちらのモデルもエンベロープ抽出関数の反復的適用に基づいて強いベースラインを超える。 2つのモデルはまた、バッハ音楽における声を分離する以前のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2020-11-05T18:39:42Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Incremental Text to Speech for Neural Sequence-to-Sequence Models using Reinforcement Learning [60.20205278845412]
  テキストから音声への現代的なアプローチでは、音声が合成される前に入力文字列全体を処理する必要がある。 このレイテンシは、同時解釈のような時間に敏感なタスクに対するそのようなモデルの適合性を制限します。 エージェントを訓練して意思決定を行うための強化学習に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-07T11:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。