論文の概要: MambaVoiceCloning: Efficient and Expressive Text-to-Speech via State-Space Modeling and Diffusion Control
- arxiv url: http://arxiv.org/abs/2604.00292v1
- Date: Tue, 31 Mar 2026 22:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.751438
- Title: MambaVoiceCloning: Efficient and Expressive Text-to-Speech via State-Space Modeling and Diffusion Control
- Title（参考訳）: MambaVoiceCloning: 状態空間モデリングと拡散制御による効率的かつ表現力豊かなテキスト音声合成
- Abstract要約: MVCは、ゲートされた双方向のマンバテキストエンコーダ、訓練後に放棄されたライトウェイトアライメント教師が監督するテンポラルのバイマンバ、AdaLN変調を備えたExpressive Mambaを組み合わせた。
推論時にハイブリッドのままであった以前のMamba-TTSシステムとは異なり、MVCはStyleTTS2 mel-diffusion-vocoderのバックボーンの下でアテンションベースの時間とスタイルモジュールを削除する。
- 参考スコア（独自算出の注目度）: 7.908248809851184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: MambaVoiceCloning (MVC) asks whether the conditioning path of diffusion-based TTS can be made fully SSM-only at inference, removing all attention and explicit RNN-style recurrence layers across text, rhythm, and prosody, while preserving or improving quality under controlled conditions. MVC combines a gated bidirectional Mamba text encoder, a Temporal Bi-Mamba supervised by a lightweight alignment teacher discarded after training, and an Expressive Mamba with AdaLN modulation, yielding linear-time O(T) conditioning with bounded activation memory and practical finite look-ahead streaming. Unlike prior Mamba-TTS systems that remain hybrid at inference, MVC removes attention-based duration and style modules under a fixed StyleTTS2 mel-diffusion-vocoder backbone. Trained on LJSpeech/LibriTTS and evaluated on VCTK, CSS10 (ES/DE/FR), and long-form Gutenberg passages, MVC achieves modest but statistically reliable gains over StyleTTS2, VITS, and Mamba-attention hybrids in MOS/CMOS, F0 RMSE, MCD, and WER, while reducing encoder parameters to 21M and improving throughput by 1.6x. Diffusion remains the dominant latency source, but SSM-only conditioning improves memory footprint, stability, and deployability.
- Abstract（参考訳）: MambaVoiceCloning (MVC) は、拡散に基づくTSSの条件付けパスを完全にSSMのみにすることができるかどうかを問う。
MVCは、有界な双方向のマンバテキストエンコーダ、訓練後に放棄されたライトウェイトアライメント教師が監督するテンポラルなビマンバ、AdaLN変調を備えたExpressive Mamba、バウンドアクティベーションメモリと実用的な有限ルックアヘッドストリーミングを備えた線形時間O(T)コンディショニングを組み合わせた。
推論時にハイブリッドのままであった以前のMamba-TTSシステムとは異なり、MVCはStyleTTS2 mel-diffusion-vocoderのバックボーンの下でアテンションベースの時間とスタイルモジュールを削除する。
LJSpeech/LibriTTSでトレーニングされ、VCTK、CSS10(ES/DE/FR)、ロングフォームのGutenbergパスで評価され、MVCは、MOS/CMOS、F0 RMSE、MCD、WERのStyleTTS2、VITS、Mamba-attentionハイブリッドよりも適度に信頼性が高く、エンコーダパラメータを21Mに減らし、スループットを1.6倍に向上する。
拡散は依然として主要なレイテンシソースであるが、SSMのみの条件付けによりメモリフットプリント、安定性、デプロイ性が改善されている。
関連論文リスト
- MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。
MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。
HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
論文 参考訳（メタデータ） (2026-06-22T10:14:06Z) - Boosting Neural Video Codec via Scale-Driven Online Flow Refinement [59.68390983151205]
本稿では,訓練不要なスケール駆動型オンラインフローリファインメント(SOFR)手法を提案する。
ワープ精度に応じて粗さや微細なスケールからの動作情報を融合し、動作推定誤差を効果的に補正する。
PSNRとMS-SSIMでそれぞれ平均2.84%と4.05%の貯蓄がある。
論文 参考訳（メタデータ） (2026-06-22T08:36:23Z) - MambaCSP: Hybrid-Attention State Space Models for Hardware-Efficient Channel State Prediction [37.23142541350246]
本研究では,LLMに基づく予測バックボーンを線形時間モデルに置き換えるハイブリッドアテンションSSMアーキテクチャであるMambaCSPを提案する。
MambaCSPは、最大3.0倍のスループット、2.6倍のVRAM使用率、2.9倍の高速推論を提供しながら、LCMベースのアプローチよりも予測精度を9-12%向上させる。
論文 参考訳（メタデータ） (2026-04-23T10:05:33Z) - Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation [58.40817037271021]
DiTTA(Distillation-assisted Test-Time Adaptation)は、ISSモデルをアノテーション付きビデオなしで時間的に認識されたVSSモデルに変換する新しいフレームワークである。
完全教師付きVSS法と比較して,DITTAの有効性を示す。
論文 参考訳（メタデータ） (2026-04-13T03:47:08Z) - Context Video Semantic Transmission with Variable Length and Rate Coding over MIMO Channels [49.624608869195065]
無線ビデオ伝送のためのコンテキストビデオセマンティックトランスミッション(CVST)フレームワークを提案する。
我々は、特徴群と多重入力多重出力(MIMO)サブチャネルの関係を明確に定式化するために、コンテキストチャネル相関マップを学習する。
近年の無線ビデオ・セマンティック・コミュニケーション・アプローチにおいて,標準化された分離符号化方式に対して性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2025-12-23T10:48:43Z) - TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition [59.99922360648663]
TSkel-Mambaは、空間力学と時間力学の両方を効果的に捉えるハイブリッドトランスフォーマー-Mambaフレームワークである。
MTIモジュールはマルチスケールのCycle演算子を使用して、チャネル間の時間的相互作用をキャプチャする。
論文 参考訳（メタデータ） (2025-12-12T11:55:16Z) - Trajectory-aware Shifted State Space Models for Online Video Super-Resolution [57.87099307245989]
本稿では、トラジェクトリ対応シフトSSM(TS-Mamba)に基づく新しいオンラインVSR手法を提案する。
TS-Mambaは、最初にビデオ内の軌跡を構築し、以前のフレームから最もよく似たトークンを選択する。
私たちのTS-Mambaは、ほとんどのケースで最先端のパフォーマンスを実現し、22.7%以上の削減複雑性(MAC)を実現しています。
論文 参考訳（メタデータ） (2025-08-14T08:42:15Z) - HiFi-Mamba: Dual-Stream W-Laplacian Enhanced Mamba for High-Fidelity MRI Reconstruction [5.899756063964437]
High-Fidelity Mamba (HiFi-Mamba)はMRI再構成のための新しいデュアルストリームMambaベースのアーキテクチャである。
HiFi-Mambaは、最先端のCNNベース、Transformerベース、およびその他のMambaベースモデルよりも、再現精度が優れている。
論文 参考訳（メタデータ） (2025-08-07T10:08:18Z) - MambaVSR: Content-Aware Scanning State Space Model for Video Super-Resolution [33.457410717030946]
超高解像度ビデオのための最初の状態空間モデルフレームワークであるMambaVSRを提案する。
MambaVSRは共有コンパス構築(SCC)とコンテンツ認識シーケンス化(CAS)を通じて動的相互作用を可能にする
CASモジュールは、学習された空間秩序に沿って時間的特徴をインターリーブすることにより、複数のフレームにまたがる非局所的な類似コンテンツを効果的に調整し集約する。
論文 参考訳（メタデータ） (2025-06-13T13:22:28Z) - M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference [8.792650582656913]
M2R2(Mixture of Multi-rate Residuals)は,残差速度を動的に変調して早期アライメントを改善するフレームワークである。
M2R2は最先端の距離ベースの戦略を超え、生成品質とスピードアップのバランスをとる。
自己投機的復号化では、M2R2はMT-Benchで最大2.8倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-02-04T06:13:52Z) - STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。
CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。
空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
論文 参考訳（メタデータ） (2024-12-28T08:49:23Z) - Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳（メタデータ） (2024-11-23T06:36:16Z) - Alignment-free Raw Video Demoireing [18.06907326360215]
ビデオの削除は、スクリーンコンテンツのキャプチャ中に発生する望ましくない干渉パターンを取り除くことを目的としている。
本稿では,周波数アシスト型時間的マンバ(DemMamba)を用いたアライメントフリー生ビデオ復調ネットワークを提案する。
PSNRでは、最先端の手法を1.6dB超え、良好な視覚体験を提供する。
論文 参考訳（メタデータ） (2024-08-20T09:31:03Z) - Mamba State-Space Models Are Lyapunov-Stable Learners [3.441021278275805]
Mamba State-space Model (SSM)は、最近、最先端(SOTA)変換言語モデル(LLM)よりも優れています。
我々は,MPFTとPEFTの組み合わせによって導入された変化に対して,マンバLLMは極めて安定であることを示す。
我々は,MPFTとPEFTを用いて,自然言語タスクにおけるマンバLLMの文脈内学習能力を新たに研究する。
論文 参考訳（メタデータ） (2024-05-31T21:46:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。