論文の概要: Decodability Is Not Controllability: Local and Anisotropic Speaker Control in Continuous-Latent TTS
- arxiv url: http://arxiv.org/abs/2610.29345v1
- Date: Wed, 21 Oct 2026 07:38:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.276916
- Title: Decodability Is Not Controllability: Local and Anisotropic Speaker Control in Continuous-Latent TTS
- Title（参考訳）: 復調性は制御不可能:連続時間TSにおける局所的および異方性話者制御
- Abstract要約: 位置整合プローブと、30人の話者と60人の指示ダイアドによる等ノルム介入は、この分離を明らかにする。
早期参照オーディオ位置での編集は、反対のパターンを生成する。
独立した話者エンコーダ、保留型話者プロトタイプに対する検索、ダブルブレンドリスニングは、シフトした音声が意図されたターゲットとして聞こえることを確認する。
- 参考スコア（独自算出の注目度）: 6.917013367604684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High linear decodability does not entail causal controllability in continuous-latent text-to-speech (TTS). In VoxCPM2, position-matched probes and equal-norm interventions across 30 speakers and 60 directed dyads expose this separation: reference-audio states at the final residual acoustic language model layer (RALM L7) retain 0.970 probe accuracy, yet aligned edits yield 0/60 target-dominant dyads. Edits at early reference-audio positions produce the opposite pattern. At L0, pair-aligned updates increase target similarity by 0.326 and achieve target dominance in all 60 dyads, against at most 1/60 under any equal-norm direction or position control. Independent speaker encoders, retrieval against held-out speaker prototypes, and double-blind listening confirm that the shifted voice is heard as the intended target. Cross-architecture interventions in dots.tts distinguish backbone leverage from direct acoustic control: backbone edits displace the source without target attraction, while x-vector ablation reduces source similarity from 0.849 to 0.006. These findings identify two requirements for training-free speaker control: geometric specificity and a computational route that carries the intended speaker condition into acoustic synthesis.
- Abstract（参考訳）: 連続ラテントテキスト音声(TTS)の因果制御性は高い線形陰極性では不要である。
VoxCPM2では、30の話者と60の指示されたダイアド間の位置整合プローブと等ノルム干渉がこの分離を露呈する: 最後の残留音響言語モデル層(RALM L7)における基準オーディオ状態は0.970のプローブ精度を保持するが、アライメントは0/60のターゲット支配ダイドを生成する。
早期参照オーディオ位置での編集は、反対のパターンを生成する。
L0では、ペアアライメントの更新により、ターゲットの類似性が0.326増加し、すべての60ダイアドにおいて、任意の等角方向または位置制御の下で、少なくとも1/60に対して、目標の優位性を達成する。
独立した話者エンコーダ、保留型話者プロトタイプに対する検索、ダブルブレンドリスニングは、シフトした音声が意図されたターゲットとして聞こえることを確認する。
バックボーンはターゲットのアトラクションなしでソースを移動させるが、xベクターアブレーションはソースの類似性を0.849から0.006に減少させる。
これらの結果から,意図した話者条件を音響合成に伝達する幾何学的特異性と計算経路という,学習不要話者制御の2つの要件が明らかになった。
関連論文リスト
- Long Listening Thoughts: Eliciting Open Auditory Reasoning with Deliberative Perception and Cognitive Refinement [110.63858752975403]
Long Listening Thoughts (LLT)は、音声推論を改善するトレーニング後のデータセットを構築するためのフレームワークである。
LLTは、意味、音響、時間情報にまたがる多面的な高密度オーディオ記述を構築する。
我々はQwen2.5-Omni-7Bを教師付き微調整の2段階パイプラインで訓練し、直接選好最適化を行った。
論文 参考訳（メタデータ） (2026-10-17T03:20:36Z) - MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue [67.07361089429757]
本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。
我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。
学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
論文 参考訳（メタデータ） (2026-10-14T13:20:14Z) - Why Alzheimer's Speech Screening Fails to Generalize: Bridging the Deployment Gap via Cross-Corpus Evidence Anchoring [10.342594923784956]
音声によるスクリーニングは、アルツハイマー病と関連する認知リスクを検出するための有望で非侵襲的なアプローチである。
単一のドメインでトレーニングされたモデルは、しばしば、目に見えない言語、タスク、または記録プロトコルに貧弱に一般化される。
本稿では,この展開ギャップを,4つの異なるデータセット間での残余コーパスアウト評価を用いて検討する。
論文 参考訳（メタデータ） (2026-09-25T14:02:52Z) - Asymmetric Classifier-Free Guidance for Target-Speaker ASR [2.7023796303812193]
Whisper を用いた TS-ASR のための非対称分類器フリーガイダンス (CFG) を導入する。
CFGは1つのガイダンス尺度を通じてデコード中の話者条件付けの寄与を調整する。
ドメインシフトでは,条件のみのベースライン上での単語誤り率(WER)を最大21.8%削減する。
論文 参考訳（メタデータ） (2026-09-24T19:16:16Z) - Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。
広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。
TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
論文 参考訳（メタデータ） (2026-09-16T02:41:41Z) - CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳（メタデータ） (2026-08-09T11:10:20Z) - Dual-Granularity Orthogonal Disentanglement for Generalizable Audio Deepfake Detection [1.6262949941980935]
ディープフェイク検出器は、合成アーティファクトではなく、話者同一性の特徴を学ぶため、話者間での一般化に失敗することが多い。
本稿では,2つのレベルにおいて特徴独立を強制する二重粒度直交不整合フレームワークを提案する。
ASVspoof 2019 LA、ASVspoof 2021 DF、In-the-Wildデータセットの実験では、提案手法が1.35%、7.88%、および21.58%のエラー率を達成したことが示されている。
論文 参考訳（メタデータ） (2026-06-15T10:36:57Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳（メタデータ） (2026-06-07T07:15:34Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Exploring Prompt Alignment with Clinical Factors in Zero-Shot Segmentation VLMs for NSCLC Tumor Segmentation [0.05597620745943382]
ゼロショット視覚言語モデル (Zero-shot Vision-Language Model, VLMs) は、腫瘍容積のデライン化のためのタスク特化トレーニングに代わる、迅速な代替手段を提供する。
我々は,VoxTell内腫瘍データセットのアライメント方向について検討した。
アライメント分析により、解剖学的位置がVoxTellの空間的注意の主役であることが判明した。
論文 参考訳（メタデータ） (2026-05-02T05:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。