論文の概要: Stable Audio 3
- arxiv url: http://arxiv.org/abs/2605.17991v1
- Date: Mon, 18 May 2026 07:47:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.005743
- Title: Stable Audio 3
- Title(参考訳): 安定したオーディオ3
- Authors: Zach Evans, Julian D. Parker, Matthew Rice, CJ Carr, Zack Zukowski, Josiah Taylor, Jordi Pons,
- Abstract要約: 安定オーディオ3(Stable Audio 3)は、可変長オーディオ生成と編集のための高速遅延拡散モデルのファミリーである。
我々のモデルは、数分のオーディオを生成することができ、可変長世代は、短い音のためにフル長世代を生成するコストを避けるための鍵となる。
- 参考スコア(独自算出の注目度): 13.654044564278442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stable Audio 3 is a family of fast latent diffusion models (small, medium, large) for variable-length audio generation and editing. Since our models can generate several minutes of audio, variable-length generations are key to avoid the cost of producing full-length generations for short sounds. We also support inpainting, enabling targeted audio editing and the continuation of short recordings. Our latent diffusion models operate on top of a novel semantic-acoustic autoencoder that projects audio into a compact latent space, enabling efficient diffusion-based generation while preserving audio fidelity and encouraging semantic structure in the latent. Finally, we run adversarial post-training to both accelerate inference and improve generation quality, reducing the number of inference steps while improving fidelity and prompt adherence. Stable Audio 3 models are trained on licensed and Creative Commons data to generate music and sounds in less than a 2s on an H200 GPU and less than a few seconds on a MacBook Pro M4. We release the weights of small and medium, that can run on consumer-grade hardware, together with their training and inference pipeline.
- Abstract(参考訳): 安定オーディオ3は、可変長オーディオ生成と編集のための高速潜伏拡散モデル(小型、中型、大型)のファミリーである。
我々のモデルでは、数分のオーディオを生成できるため、可変長世代は、短い音に対してフル長世代を生成するコストを回避するための鍵となる。
インペイントもサポートし、ターゲットのオーディオ編集や短い録音の継続を可能にします。
我々の潜伏拡散モデルは、音声をコンパクトな潜伏空間に投影する新しい意味音響オートエンコーダ上で動作し、音声の忠実さを保ちながら効率的な拡散ベース生成を可能にし、潜伏空間のセマンティック構造を奨励する。
最後に、推論の高速化と生成品質の向上を両立させ、推論ステップの数を削減し、忠実度を向上し、定着を促す。
安定したオーディオ3モデルは、ライセンスとCreative Commonsのデータに基づいてトレーニングされ、H200 GPUで1秒未満、MacBook Pro M4で数秒未満で音楽と音を生成する。
トレーニングと推論のパイプラインとともに、コンシューマグレードのハードウェア上で実行可能な、中小の重みをリリースします。
関連論文リスト
- MOVA: Towards Scalable and Synchronized Video-Audio Generation [91.56945636522345]
高品質で同期した映像コンテンツを生成できるオープンソースモデルMOVA(MOSS Video and Audio)を紹介する。
モデルウェイトとコードをリリースすることによって、研究を進め、クリエーターの活気あるコミュニティを育むことを目指しています。
論文 参考訳(メタデータ) (2026-02-09T15:31:54Z) - Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。
我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。
我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
論文 参考訳(メタデータ) (2024-04-15T17:31:22Z) - Audiobox: Unified Audio Generation with Natural Language Prompts [37.39834044113061]
本稿では,様々な音響モダリティを生成可能なフローマッチングに基づく統一モデルであるAudioboxを提案する。
我々は、制御性を高め、音声および音声生成パラダイムを統一するために、記述ベースおよび例ベースプロンプトを設計する。
Audioboxは、音声と音声の生成に関する新しいベンチマークを設定し、新しい音声と音響のスタイルで音声を生成する新しいメソッドをアンロックする。
論文 参考訳(メタデータ) (2023-12-25T22:24:49Z) - SoundStorm: Efficient Parallel Audio Generation [27.121920017380273]
本研究では,効率的な非自己回帰音声生成モデルSoundStormを提案する。
SoundStormはAudioLMのセマンティックトークンとして受け取られ、双方向の注意と信頼に基づく並列デコーディングに依存している。
我々は,高品質な自然な対話セグメントを合成することにより,より長いシーケンスに音声生成を拡張できることを実証する。
論文 参考訳(メタデータ) (2023-05-16T17:41:25Z) - ArchiSound: Audio Generation with Diffusion [0.0]
本研究では,音声生成のための拡散モデルの可能性について検討する。
重畳した1次元U-Netを用いたテキスト条件付き潜在音声拡散手法を提案する。
各モデルに対して、単一のコンシューマGPU上でリアルタイムにターゲットとする、合理的な推論速度の維持に取り組みます。
論文 参考訳(メタデータ) (2023-01-30T20:23:26Z) - AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。
本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文 参考訳(メタデータ) (2022-09-30T10:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。