論文の概要: Creative Text-to-Audio Generation via Synthesizer Programming

• arxiv url: http://arxiv.org/abs/2406.00294v1
• Date: Sat, 1 Jun 2024 04:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:44:24.602690
• Title: Creative Text-to-Audio Generation via Synthesizer Programming
• Title（参考訳）: 合成器プログラミングによる創造的テキスト・ツー・オーディオ生成
• Authors: Manuel Cherep, Nikhil Singh, Jessica Shand,
• Abstract要約: 78個のパラメータしか持たない仮想モジュールサウンドシンセサイザーを利用するテキスト音声生成手法を提案する。 提案手法であるCTAGは、テキストプロンプトの高品質なオーディオレンダリングを生成するために、シンセサイザーのパラメータを反復的に更新する。
• 参考スコア（独自算出の注目度）: 1.1203110769488043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural audio synthesis methods now allow specifying ideas in natural language. However, these methods produce results that cannot be easily tweaked, as they are based on large latent spaces and up to billions of uninterpretable parameters. We propose a text-to-audio generation method that leverages a virtual modular sound synthesizer with only 78 parameters. Synthesizers have long been used by skilled sound designers for media like music and film due to their flexibility and intuitive controls. Our method, CTAG, iteratively updates a synthesizer's parameters to produce high-quality audio renderings of text prompts that can be easily inspected and tweaked. Sounds produced this way are also more abstract, capturing essential conceptual features over fine-grained acoustic details, akin to how simple sketches can vividly convey visual concepts. Our results show how CTAG produces sounds that are distinctive, perceived as artistic, and yet similarly identifiable to recent neural audio synthesis models, positioning it as a valuable and complementary tool.
• Abstract（参考訳）: ニューラルオーディオ合成法では、自然言語でアイデアを指定できるようになった。 しかし、これらの手法は、大きな潜在空間と最大数十億の非解釈パラメータに基づいているため、簡単には微調整できない結果を生み出す。 78個のパラメータしか持たない仮想モジュールサウンドシンセサイザーを利用するテキスト音声生成手法を提案する。 シンセサイザーは、柔軟性と直感的な制御のために、音楽や映画のようなメディアのために、熟練したサウンドデザイナーによって長い間使われてきた。 提案手法であるCTAGは,テキストプロンプトの高品質なオーディオレンダリングを生成するために,シンセサイザーのパラメータを反復的に更新する。 この方法で作られた音は、より抽象的で、よりきめ細かな音響的詳細よりも重要な概念的特徴を捉えており、単純なスケッチが視覚的概念をいかに鮮明に伝達するかに似ています。 以上の結果から,CTAGは芸術的と認識されながら,近年のニューラルオーディオ合成モデルと同等に識別され,有用かつ補完的なツールとして位置づけられている。

関連論文リスト

• Synthesizer Sound Matching Using Audio Spectrogram Transformers [2.5944208050492183]
  音声スペクトログラム変換器を用いた合成音声マッチングモデルを提案する。 本モデルでは,16個のパラメータの集合から生成されたサンプルのパラメータを再構成可能であることを示す。 また、音声の模倣をエミュレートする際、ドメイン外モデルの性能を示す音声例も提供する。
  論文  参考訳（メタデータ） (2024-07-23T16:58:14Z)
• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• SynthScribe: Deep Multimodal Tools for Synthesizer Sound Retrieval and Exploration [21.473019531697062]
  マルチモーダルディープラーニングを用いて,ユーザの意図をはるかに高いレベルで表現できるフルスタックシステムを実装した。 我々は,1)既存の音を探索すること,2)全く新しい音を作り出すこと,3)所定の音に意味のある修正を加えること,など,様々な課題に対処する機能を実装している。
  論文  参考訳（メタデータ） (2023-12-07T20:40:36Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control [47.33830090185952]
  任意の話者の声に適応できるテキスト・トゥ・ラッピング・歌唱システムを導入する。 読み上げ専用音声データに基づいて訓練されたタコトロンベースのマルチスピーカ音響モデルを利用する。 その結果,提案手法は自然性を高めた高品質なラッピング/歌唱音声を生成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-17T14:31:55Z)
• Enhancing audio quality for expressive Neural Text-to-Speech [8.199224915764672]
  本稿では,高表現率音声の信号品質を向上させるために,追加データを用いることなく活用できる一連の手法を提案する。 その結果,これらの手法を組み合わせることで,表現力のある有名人声のMUSHRAスコアにおいて,ベースラインシステムと録音との知覚自然さのギャップを39%削減できることが判明した。
  論文  参考訳（メタデータ） (2021-08-13T14:32:39Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。