論文の概要: Wavetable Synthesis Using CVAE for Timbre Control Based on Semantic Label

• arxiv url: http://arxiv.org/abs/2410.18628v1
• Date: Thu, 24 Oct 2024 10:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:42:39.796576
• Title: Wavetable Synthesis Using CVAE for Timbre Control Based on Semantic Label
• Title（参考訳）: セマンティックラベルに基づく音色制御のためのCVAEを用いた波長合成
• Authors: Tsugumasa Yutani, Yuya Yamamoto, Shuyo Nakatani, Hiroko Terasawa,
• Abstract要約: 本研究は,直感的かつ感受性の高い波形合成における音色制御手法を提案する。 条件付き変分オートエンコーダ(CVAE)を使用して、ユーザはウェーブテーブルを選択し、明るい、暖かい、リッチなラベルで音色を定義することができる。
• 参考スコア（独自算出の注目度）: 2.0124254762298794
• License:
• Abstract: Synthesizers are essential in modern music production. However, their complex timbre parameters, often filled with technical terms, require expertise. This research introduces a method of timbre control in wavetable synthesis that is intuitive and sensible and utilizes semantic labels. Using a conditional variational autoencoder (CVAE), users can select a wavetable and define the timbre with labels such as bright, warm, and rich. The CVAE model, featuring convolutional and upsampling layers, effectively captures the wavetable nuances, ensuring real-time performance owing to their processing in the time domain. Experiments demonstrate that this approach allows for real-time, effective control of the timbre of the wavetable using semantic inputs and aims for intuitive timbre control through data-based semantic control.
• Abstract（参考訳）: シンセサイザーは現代音楽の制作に不可欠である。 しかし、それらの複雑な音色パラメータは、しばしば技術的な用語で満たされ、専門知識を必要とする。 本研究は,直感的で感性があり,セマンティックなラベルを用いた波形合成における音色制御手法を提案する。 条件付き変分オートエンコーダ(CVAE)を使用して、ユーザはウェーブテーブルを選択し、明るい、暖かい、リッチなラベルで音色を定義することができる。 CVAEモデルは、畳み込み層とアップサンプリング層を特徴とするモデルで、波動可能なニュアンスを効果的にキャプチャし、時間領域での処理によってリアルタイムのパフォーマンスを保証する。 実験により、本手法は、意味入力を用いて、波形の音色をリアルタイムに効果的に制御することができ、データに基づく意味制御による直感的な音色制御を目指している。

関連論文リスト

• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms [2.3204178451683264]
  音声処理アプリケーションでは、ハイレベルな表現に基づく表現力のある音声の生成は、高い需要を示す。 ニューラルネットワークのような現代のアルゴリズムは、楽器の圧縮に基づく表現型シンセサイザーの開発にインスピレーションを与えている。 本研究では,多種多様な楽器に対する時間周波数音声表現の圧縮のための畳み込み畳み込みオートエンコーダについて検討した。
  論文  参考訳（メタデータ） (2023-01-18T17:19:04Z)
• Controllable speech synthesis by learning discrete phoneme-level prosodic representations [53.926969174260705]
  直感的な離散ラベルを用いたF0と持続時間に対する音素レベル韻律制御のための新しい手法を提案する。 複数話者音声データセットから音素レベルF0と持続時間の特徴を識別するために用いられる教師なし韻律クラスタリングプロセスを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:43:36Z)
• Multi-instrument Music Synthesis with Spectrogram Diffusion [19.81982315173444]
  我々は、MIDIシーケンスから任意の組み合わせの楽器をリアルタイムで生成できるニューラルシンセサイザーの中盤に焦点を当てる。 MIDIはエンコーダ・デコーダ変換器でスペクトログラム、次いでGAN(Generative Adversarial Network)スペクトルインバータでスペクトログラムからオーディオへ分光する。 これは、楽器と音符の任意の組み合わせのための対話的で表現力のあるニューラルシンセシスに向けた、有望な第一歩である。
  論文  参考訳（メタデータ） (2022-06-11T03:26:15Z)
• Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis [49.6007376399981]
  本稿では,自己回帰的注意に基づく音声合成システムにおいて,音素レベルでの韻律制御手法を提案する。 提案手法は、F0と持続時間の音素レベル制御を可能とし、生成した音声の品質を維持する。 F0クラスタのセントロイドを音符に置き換えることで、モデルはスピーカーの範囲内で音符とオクターブを制御できる。
  論文  参考訳（メタデータ） (2021-11-19T12:10:16Z)
• CAESynth: Real-Time Timbre Interpolation and Pitch Control with Conditional Autoencoders [3.0991538386316666]
  CAE Synthは、共用潜在特徴空間における参照音を補間することにより、音色をリアルタイムで合成する。 音節分類における精度に基づく条件付きオートエンコーダのトレーニングとピッチコンテンツの逆正則化により、潜時空間における音節分布をより効果的にすることができることを示す。
  論文  参考訳（メタデータ） (2021-11-09T14:36:31Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• Timbre latent space: exploration and creative aspects [1.3764085113103222]
  近年の研究では、教師なしモデルがオートエンコーダを用いて可逆的な音声表現を学習できることが示されている。 生成ニューラルネットワークによって、音色操作の新たな可能性が実現されている。
  論文  参考訳（メタデータ） (2020-08-04T07:08:04Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。