論文の概要: ArchiSound: Audio Generation with Diffusion

• arxiv url: http://arxiv.org/abs/2301.13267v1
• Date: Mon, 30 Jan 2023 20:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 18:35:20.873453
• Title: ArchiSound: Audio Generation with Diffusion
• Title（参考訳）: ArchiSound: 拡散によるオーディオ生成
• Authors: Flavio Schneider
• Abstract要約: 本研究では,音声生成のための拡散モデルの可能性について検討する。 重畳した1次元U-Netを用いたテキスト条件付き潜在音声拡散手法を提案する。 各モデルに対して、単一のコンシューマGPU上でリアルタイムにターゲットとする、合理的な推論速度の維持に取り組みます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent surge in popularity of diffusion models for image generation has brought new attention to the potential of these models in other areas of media generation. One area that has yet to be fully explored is the application of diffusion models to audio generation. Audio generation requires an understanding of multiple aspects, such as the temporal dimension, long term structure, multiple layers of overlapping sounds, and the nuances that only trained listeners can detect. In this work, we investigate the potential of diffusion models for audio generation. We propose a set of models to tackle multiple aspects, including a new method for text-conditional latent audio diffusion with stacked 1D U-Nets, that can generate multiple minutes of music from a textual description. For each model, we make an effort to maintain reasonable inference speed, targeting real-time on a single consumer GPU. In addition to trained models, we provide a collection of open source libraries with the hope of simplifying future work in the field. Samples can be found at https://bit.ly/audio-diffusion. Codes are at https://github.com/archinetai/audio-diffusion-pytorch.
• Abstract（参考訳）: 近年、画像生成のための拡散モデルの人気が高まり、メディア生成の他の分野におけるこれらのモデルの可能性に新たな注目が集まっている。 まだ十分に研究されていない分野の1つは、拡散モデルのオーディオ生成への応用である。 音声生成には、時間次元、長期構造、重複する複数の音の層、訓練されたリスナーだけが検出できるニュアンスなど、複数の側面の理解が必要である。 本研究では,音声生成のための拡散モデルの可能性について検討する。 本稿では,テキスト記述から複数分間の音楽を生成可能な1D U-Netを用いたテキスト条件付き遅延音声拡散手法を含む,複数の側面に対応するモデルを提案する。 各モデルに対して、単一のコンシューマGPU上でリアルタイムにターゲットとする、合理的な推論速度の維持に努めます。 トレーニングされたモデルに加えて、この分野の今後の作業を簡単にするために、オープンソースライブラリのコレクションを提供しています。 サンプルはhttps://bit.ly/audio-diffusionで見ることができる。 コードはhttps://github.com/archinetai/audio-diffusion-pytorchにある。

関連論文リスト

• Read, Watch and Scream! Sound Generation from Text and Video [23.990569918960315]
  本稿では,ReWaSと呼ばれる新しいビデオ・テキスト・音声生成手法を提案する。 本手法は,ユーザのプロンプトからキーコンテンツキューを受信しながら,ビデオから音声の構造情報を推定する。 音声の生成成分を分離することにより、ユーザが好みに応じて、エネルギー、周囲環境、および一次音源を自由に調整できる、より柔軟なシステムとなる。
  論文  参考訳（メタデータ） (2024-07-08T01:59:17Z)
• Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation [24.349512234085644]
  本稿では,マルチモーダル生成において十分に検討されていない,シンプルで軽量な生成変換器について述べる。 トランスは離散オーディオおよび視覚ベクトル量子化GAN空間で動作し、マスクを装飾的に訓練する。 実験の結果,本手法は最新の画像2audio 生成法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-05-23T14:13:16Z)
• SonicDiffusion: Audio-Driven Image Generation and Editing with Pretrained Diffusion Models [21.669044026456557]
  本稿では,大規模画像拡散モデルにおける音声条件設定を実現する手法を提案する。 音声条件付き画像生成に加えて,拡散に基づく編集手法との共役にも利用することができる。
  論文  参考訳（メタデータ） (2024-05-01T21:43:57Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Audiobox: Unified Audio Generation with Natural Language Prompts [37.39834044113061]
  本稿では,様々な音響モダリティを生成可能なフローマッチングに基づく統一モデルであるAudioboxを提案する。 我々は、制御性を高め、音声および音声生成パラダイムを統一するために、記述ベースおよび例ベースプロンプトを設計する。 Audioboxは、音声と音声の生成に関する新しいベンチマークを設定し、新しい音声と音響のスタイルで音声を生成する新しいメソッドをアンロックする。
  論文  参考訳（メタデータ） (2023-12-25T22:24:49Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• Mo\^usai: Text-to-Music Generation with Long-Context Latent Diffusion [27.567536688166776]
  我々はテキストから音楽への生成モデルを通じてテキストと音楽をブリッジする。 具体的には、テキスト記述から48kHzで高品質なステレオ音楽の複数分間を生成できるカスケード2段階潜時拡散モデルであるMousaiを開発する。
  論文  参考訳（メタデータ） (2023-01-27T14:52:53Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。