論文の概要: Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2607.23811v1
- Date: Sun, 26 Jul 2026 19:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.24159
- Title: Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
- Title（参考訳）: 分離型時間深度拡散変換器を用いたメモリ効率の良い音声合成
- Abstract要約: Siri Expressive Voicesはリッチで会話型の音声をリアルタイムで合成する。
デトケナイザは、ファンデーションモデルによって出力されるセマンティックオーディオトークンを、Apple Matrix Coprocessor(AMX)の厳密な計算およびメモリ予算内で高忠実なオーディオに変換する。
Diffusion Transformer (DiT)スタイルの1つの再利用可能な深度デコーダは、すべてのRVQレベルを自動回帰的に生成し、以前のマルチデコーダアーキテクチャの専用レベルデコーダを置き換える。
- 参考スコア（独自算出の注目度）: 11.102698205402675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Siri Expressive Voices synthesize rich, configurable speech in real time and entirely on device, powered by AFM 3 Core Advanced, Apple's most powerful on-device foundation model. This work presents the memory-efficient audio synthesis architecture behind that capability: a detokenizer that converts the semantic audio tokens emitted by the foundation model into high-fidelity audio within the tight compute and memory budget of the Apple Matrix Coprocessor (AMX). We convert semantic audio tokens to a residual vector quantization (RVQ) representation with a three-component design, a streaming encoder, a temporal decoder, and a depth decoder, that systematically decouples temporal and depth processing. A single reusable depth decoder with Diffusion Transformer (DiT)-style stage conditioning generates all RVQ levels autoregressively, replacing the dedicated per-level decoders of prior multi-decoder architectures, while causal sliding window attention with fixed-window key-value caching yields constant memory complexity independent of sequence length. Deployed on the AMX, the detokenizer sustains roughly 10 ms per generation step, about 16x faster than real time, with a peak runtime memory of only 21 MB and 329 MB of on-device assets, enabling continuous streaming synthesis of 20-320 seconds of audio. This constant, small footprint replaces the linear and quadratic memory scaling of conventional transformer- and GAN-based approaches. Ablation studies validate the key architectural components, and audio quality assessment confirms that the architecture maintains synthesis fidelity while achieving efficiency gains over existing methods. Operating at a 1-billion-parameter activation size within AFM 3 Core Advanced, it improves Mean Opinion Score by +0.28 overall (4.15 vs. 3.87) and by +0.42 on conversational speech (4.24 vs. 3.82) over the prior on-device text-to-speech system.
- Abstract（参考訳）: Siri Expressive Voicesは、Appleの最も強力なオンデバイス基盤モデルであるAFM 3 Core Advancedをベースとして、リッチで設定可能な音声をリアルタイムで合成する。
ファンデーションモデルによって出力されるセマンティックオーディオトークンを、Apple Matrix Coprocessor(AMX)の厳密な計算とメモリ予算内で高忠実なオーディオに変換するデトケナイザである。
セマンティックな音声トークンを3成分設計、ストリーミングエンコーダ、時間デコーダ、深さデコーダで残差ベクトル量子化(RVQ)表現に変換し、時間と深さの処理を体系的に分離する。
Diffusion Transformer (DiT) スタイルのステージコンディショニングを用いた単一再利用可能な深度デコーダは、従来のマルチデコーダアーキテクチャの専用層ごとのデコーダを置き換えることで、すべてのRVQレベルを自動回帰的に生成する。
AMX上にデプロイされたDetokenizerは、約10ミリ秒のステップを持続し、リアルタイムの約16倍高速で、ピーク時のメモリは21MBと329MBのオンデバイスアセットのみであり、20～320秒のオーディオの連続的なストリーミング合成を可能にする。
この定数な小さなフットプリントは、従来のトランスフォーマーとGANベースのアプローチの線形および二次メモリスケーリングに取って代わる。
アブレーション研究は、鍵となる建築要素を検証し、音響品質評価は、既存の手法よりも効率を上げる一方で、アーキテクチャが合成の忠実さを維持していることを確認する。
AFM 3 Core Advancedで1ビリオンのアクティベーションサイズで動作し、平均オピニオンスコアを+0.28倍(4.15対3.87)、会話音声(4.24対3.82)で+0.42倍改善する。
関連論文リスト
- TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。
本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。
このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
論文 参考訳（メタデータ） (2026-09-08T13:03:46Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳（メタデータ） (2026-06-07T07:15:34Z) - OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder [17.494692126897434]
我々は、共有潜在空間内の25fpsの対称で視覚信号と音声信号を共入力するための統合トランスフォーマーバックボーンであるtextbf Omni-Encoder を提案する。
実験により、モダリティ固有のベースラインであるQwen2.5-Omniと比較して、Omni-Encoderは視覚的連続理解タスクに大きな利益をもたらすことが示された。
これらの結果から,統一全能符号化は全能モデル構築に有望な方向性をもたらすことが示唆された。
論文 参考訳（メタデータ） (2026-05-02T15:55:03Z) - Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。
我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。
推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
論文 参考訳（メタデータ） (2026-04-16T00:04:32Z) - HH-Codec: High Compression High-fidelity Discrete Neural Codec for Spoken Language Modeling [6.313337261965531]
HH-Codecは、24kHzのオーディオに対して毎秒24トークンで極端な圧縮を実現するニューラルコーデックである。
提案手法では,音声言語モデリングのためのベクトル量子化空間を慎重に設計し,情報損失を最小限に抑えながら圧縮効率を最適化する。
HH-Codecは、0.3kbpsの超低帯域で音声再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2025-07-25T02:44:30Z) - Real-Time Target Sound Extraction [13.526450617545537]
実時間およびストリーミングターゲット音抽出を実現するためのニューラルネットワークモデルを提案する。
本稿では,エンコーダとして拡張因果畳み込みレイヤを積み重ねたエンコーダデコーダアーキテクチャであるWaveformerと,デコーダとしてトランスフォーマデコーダレイヤを提案する。
論文 参考訳（メタデータ） (2022-11-04T03:51:23Z) - MAST: Multiscale Audio Spectrogram Transformers [53.06337011259031]
音声分類のためのマルチスケール音声スペクトログラム変換器(MAST)について,マルチスケール特徴階層の概念をAST(Audio Spectrogram Transformer)に適用した。
実際に、MASTはLAPEベンチマークの8つの音声および非音声タスクで平均3.4%の精度でASTを著しく上回っている。
論文 参考訳（メタデータ） (2022-11-02T23:34:12Z) - High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文 参考訳（メタデータ） (2022-10-24T17:52:02Z) - FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech
Synthesis [77.06890315052563]
我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。
実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
論文 参考訳（メタデータ） (2022-07-08T10:10:39Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳（メタデータ） (2021-04-19T16:18:00Z) - Streaming automatic speech recognition with the transformer model [59.58318952000571]
本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。
本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。
提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
論文 参考訳（メタデータ） (2020-01-08T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。