論文の概要: ZONOS3-Mini Technical Report
- arxiv url: http://arxiv.org/abs/2611.16525v2
- Date: Fri, 13 Nov 2026 08:13:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.235028
- Title: ZONOS3-Mini Technical Report
- Title(参考訳): ZONOS3-Mini技術報告
- Abstract要約: ZONOS3-Miniは超コンパクト、超高速、ゼロショットの音声閉鎖型TSモデルである。
リアルタイムでラップトップやスマートフォンで動かせる。
- 参考スコア(独自算出の注目度): 9.76286068576084
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: ZONOS3-Mini is an ultra-compact, ultra-fast, zero-shot voice-cloning TTS model. The model can run in real time on a laptop or smartphone. For its latency and size, it achieves state-of-the-art accuracy and cloning fidelity. To achieve this we propose a latent MoE backbone with only 886M parameters (100M active per token) and a new audio codec, Zyphra Audio Codec 1 (ZAC-1), which represents 44.1 kHz audio at a 15 Hz frame rate. On the new ZTTS2-Eval benchmark, ZONOS3-Mini reaches a 6.71% macro-average WER over 55 language sets (35 clean and 20 in the wild), which is competitive with larger and slower state-of-the-art models. We release the model weights, inference, and training code.
- Abstract(参考訳): ZONOS3-Miniは超コンパクト、超高速、ゼロショットの音声閉鎖型TSモデルである。
このモデルは、ラップトップやスマートフォンでリアルタイムで動く。
レイテンシとサイズのため、最先端の精度とクローンの忠実さを実現している。
これを実現するために,886Mパラメータ(トークンあたり100Mアクティブ)しか持たない潜伏型MoEバックボーンと,44.1kHzのフレームレートでオーディオを出力する新しいオーディオコーデックZyphra Audio Codec 1 (ZAC-1)を提案する。
新しいZTTS2-Evalベンチマークでは、ZONOS3-Miniは55の言語セット(35のクリーンと20のワイルド)で6.71%のマクロ平均WERに達した。
モデルの重み、推論、トレーニングコードをリリースします。
関連論文リスト
- Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding [14.758953449150262]
Mizarを構築するために、アーキテクチャ、データ、および3段階のトレーニングをまとめるレシピを紹介します。
MMAUは52.92%、MMARは42.42%、ADQAクリーンは36.02%である。
MMAUベンチマークからの質問では、オーディオファイルをオープンしてから完全な回答を生成するまでの平均遅延は1.09秒である。
論文 参考訳(メタデータ) (2026-09-23T16:21:51Z) - Opt.Gear Technical Report [3.573729952898132]
OptGearは、デバイス上での効率的なデプロイメント、リアルタイム推論、強力なタスク能力のために設計された基盤モデルである。
密度モデル(1M、270M、1B)で、コンテキスト長は64Kである。
OptGear-1MはARM Cortex-M7 CPU上でW4A32量子化で20TPSを達成した最初の生成言語モデルである。
論文 参考訳(メタデータ) (2026-08-02T06:43:25Z) - FreyaTTS Technical Report [0.0]
本稿では,Freya-TTSについて紹介する。
AudioVAE2(16kHzのエンコード、48kHzのデコード)の凍結した連続潜伏空間で動作し、モデルがテキストからラテントマッピングに集中できるようにしている。
バンドマッチングワードエラー率(WER)は8.0%、文字エラー率(CER)は3.0%で、かなり大きなオープンソースシステムより優れています。
論文 参考訳(メタデータ) (2026-07-10T15:36:30Z) - Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model [52.79436545460808]
本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。
DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。
中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
論文 参考訳(メタデータ) (2026-03-23T13:49:06Z) - Qwen3-Omni Technical Report [105.11829337290249]
Qwen3-Omniは、テキスト、画像、オーディオ、ビデオ間で最先端のパフォーマンスを維持する単一のマルチモーダルモデルである。
Qwen3-OmniはQwenシリーズ内の同一サイズのシングルモーダルモデルのパフォーマンスと一致し、特にオーディオタスクに優れる。
119言語でのテキストインタラクション、19言語での音声理解、および10言語での音声生成をサポートする。
論文 参考訳(メタデータ) (2025-09-22T13:26:24Z) - Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data [4.736913024290765]
Falcon3-Audio-7Bは、MMAUベンチマークで報告されたオープンウェイトモデルの中で最高のパフォーマンスである。
我々の最小の1Bモデルは、2Bから13Bのパラメータを含むより大きなオープンモデルと競合し続けている。
論文 参考訳(メタデータ) (2025-09-09T09:01:01Z) - Voxtral [103.43045865924081]
本稿では,Voxtral MiniとVoxtral Smallの2つのマルチモーダル音声チャットモデルを提案する。
Voxtralは音声とテキストの両方を理解できるように訓練されている。
32Kコンテキストウィンドウにより、モデルは最大40分間の音声ファイルと長時間のマルチターン会話を処理できる。
論文 参考訳(メタデータ) (2025-07-17T16:17:37Z) - MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention [90.68287470551311]
MiniMax-M1は、オープンウェイトで大規模なハイブリッドアテンション推論モデルである。
コンテクストの長さは100万トークンで、DeepSeek R1のコンテクストサイズは8倍だ。
MiniMax-M1は大規模強化学習を用いて訓練されている。
論文 参考訳(メタデータ) (2025-06-16T15:08:02Z) - Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs [195.24565517943802]
我々はPhi-4-MiniとPhi-4-Multimodalを導入し、コンパクトだが高機能な言語とマルチモーダルモデルを提案する。
Phi-4-Miniは、高品質なウェブおよび合成データに基づいて訓練された3.8ビリオンパラメータ言語モデルである。
Phi-4-Multimodalは、テキスト、ビジョン、音声、音声の入力モーダルを単一のモデルに統合するマルチモーダルモデルである。
論文 参考訳(メタデータ) (2025-03-03T17:05:52Z) - EfficientSpeech: An On-Device Text to Speech Model [15.118059441365343]
State of the Art (SOTA) Neural Text to Speech (TTS)モデルでは、自然な音声合成音声を生成することができる。
本研究では,ARM CPU上で音声をリアルタイムに合成するEfficientSpeechという,効率的なニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-23T10:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。