論文の概要: ViolinDiff: Enhancing Expressive Violin Synthesis with Pitch Bend Conditioning

• arxiv url: http://arxiv.org/abs/2409.12477v1
• Date: Thu, 19 Sep 2024 05:39:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 14:41:29.236810
• Title: ViolinDiff: Enhancing Expressive Violin Synthesis with Pitch Bend Conditioning
• Title（参考訳）: ViolinDiff:ピッチベンドコンディショニングによる表現的ビオリン合成の促進
• Authors: Daewoong Kim, Hao-Wen Dong, Dasaem Jeong,
• Abstract要約: 本稿では,2段階拡散に基づく合成フレームワークであるViolinDiffを紹介する。 提案モデルでは, 明示的なピッチ曲げモデリングを伴わないモデルよりも, より現実的なヴァイオリン音を生成する。
• 参考スコア（独自算出の注目度）: 2.9153096940947796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling the natural contour of fundamental frequency (F0) plays a critical role in music audio synthesis. However, transcribing and managing multiple F0 contours in polyphonic music is challenging, and explicit F0 contour modeling has not yet been explored for polyphonic instrumental synthesis. In this paper, we present ViolinDiff, a two-stage diffusion-based synthesis framework. For a given violin MIDI file, the first stage estimates the F0 contour as pitch bend information, and the second stage generates mel spectrogram incorporating these expressive details. The quantitative metrics and listening test results show that the proposed model generates more realistic violin sounds than the model without explicit pitch bend modeling. Audio samples are available online: daewoung.github.io/ViolinDiff-Demo.
• Abstract（参考訳）: 基本周波数(F0)の自然な輪郭のモデル化は、音楽音声合成において重要な役割を果たす。 しかし、ポリフォニック・ミュージックにおける複数のF0輪郭の書き起こしと管理は困難であり、明示的なF0輪郭モデリングはまだポリフォニック・インスツルメンタル・シンセサイザーズのために研究されていない。 本稿では,2段階拡散に基づく合成フレームワークであるViolinDiffについて述べる。 所定のバイオリンMIDIファイルに対して、第1ステージは、F0輪郭をピッチ曲げ情報として推定し、第2ステージは、これらの表現的詳細を組み込んだメルスペクトログラムを生成する。 定量的な測定値と聴力試験結果から,提案モデルが明瞭なピッチ屈曲を伴わないモデルよりも,より現実的なヴァイオリン音を生成することが示された。 オーディオサンプルは、daewoung.github.io/ViolinDiff-Demo.comで入手できる。

関連論文リスト

• Accompanied Singing Voice Synthesis with Fully Text-controlled Melody [61.147446955297625]
  Text-to-song (TTSong) は、歌声の伴奏を合成する音楽生成タスクである。 完全テキスト制御されたメロディで高品質な曲を生成する最初のTTSongモデルであるMelodyLMを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:23:38Z)
• Expressive Acoustic Guitar Sound Synthesis with an Instrument-Specific Input Representation and Diffusion Outpainting [9.812666469580872]
  楽器への入力表現をカスタマイズした音響ギター音響合成モデルを提案する。 本研究では,長期的整合性のある音声を生成する拡散型アウトペイントを用いて提案手法を実装した。 提案モデルはベースラインモデルよりも音質が高く,よりリアルな音色を生成する。
  論文  参考訳（メタデータ） (2024-01-24T14:44:01Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Multi-instrument Music Synthesis with Spectrogram Diffusion [19.81982315173444]
  我々は、MIDIシーケンスから任意の組み合わせの楽器をリアルタイムで生成できるニューラルシンセサイザーの中盤に焦点を当てる。 MIDIはエンコーダ・デコーダ変換器でスペクトログラム、次いでGAN(Generative Adversarial Network)スペクトルインバータでスペクトログラムからオーディオへ分光する。 これは、楽器と音符の任意の組み合わせのための対話的で表現力のあるニューラルシンセシスに向けた、有望な第一歩である。
  論文  参考訳（メタデータ） (2022-06-11T03:26:15Z)
• Deep Performer: Score-to-Audio Music Performance Synthesis [30.95307878579825]
  Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-12T10:36:52Z)
• WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis [80.60577805727624]
  WaveGrad 2は音声合成のための非自己回帰生成モデルである。 最先端のニューラルTSシステムの性能に近づき、高忠実度オーディオを生成することができる。
  論文  参考訳（メタデータ） (2021-06-17T17:09:21Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• HpRNet : Incorporating Residual Noise Modeling for Violin in a Variational Parametric Synthesizer [11.4219428942199]
  そこで我々は,高音域の演奏スタイルにおいて,弓音が不可欠な部分であるカルナティック・ヴァイオリン記録のデータセットを提案する。 信号の高調波成分と残差成分、およびそれらの相互依存性についての知見を得る。
  論文  参考訳（メタデータ） (2020-08-19T12:48:32Z)
• Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance [6.531546527140474]
  ガウス混合変分オートエンコーダ(GM-VAE)に基づく可制御型ニューラルオーディオシンセサイザー そこで本研究では,モデルが音声に対してきめ細かな形態変化を適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-06-16T12:54:41Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。