Fugu-MT 論文翻訳(概要): Hierarchical Generative Modeling of Melodic Vocal Contours in Hindustani Classical Music

論文の概要: Hierarchical Generative Modeling of Melodic Vocal Contours in Hindustani Classical Music

arxiv url: http://arxiv.org/abs/2408.12658v1
Date: Thu, 22 Aug 2024 18:04:29 GMT
ステータス: 処理完了
システム内更新日: 2024-08-26 16:59:27.275717
Title: Hierarchical Generative Modeling of Melodic Vocal Contours in Hindustani Classical Music
Title（参考訳）: ヒンズーシャニー古典音楽における旋律音節の階層的生成モデル
Authors: Nithya Shikarpur, Krishna Maneesha Dendukur, Yusong Wu, Antoine Caillon, Cheng-Zhi Anna Huang,
Abstract要約: 音声録音から抽出した歌手の発声旋律の生成モデルに焦点をあてる。本稿では,ピッチ輪郭生成モデルとピッチ輪郭合成モデルからなるモジュール型2層階層GaMaDHaNiを提案する。
参考スコア（独自算出の注目度）: 3.491362957652171
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hindustani music is a performance-driven oral tradition that exhibits the rendition of rich melodic patterns. In this paper, we focus on generative modeling of singers' vocal melodies extracted from audio recordings, as the voice is musically prominent within the tradition. Prior generative work in Hindustani music models melodies as coarse discrete symbols which fails to capture the rich expressive melodic intricacies of singing. Thus, we propose to use a finely quantized pitch contour, as an intermediate representation for hierarchical audio modeling. We propose GaMaDHaNi, a modular two-level hierarchy, consisting of a generative model on pitch contours, and a pitch contour to audio synthesis model. We compare our approach to non-hierarchical audio models and hierarchical models that use a self-supervised intermediate representation, through a listening test and qualitative analysis. We also evaluate audio model's ability to faithfully represent the pitch contour input using Pearson correlation coefficient. By using pitch contours as an intermediate representation, we show that our model may be better equipped to listen and respond to musicians in a human-AI collaborative setting by highlighting two potential interaction use cases (1) primed generation, and (2) coarse pitch conditioning.
Abstract（参考訳）: ヒンドゥーシャニー音楽は、豊かなメロディック・パターンの再現を示す演奏駆動の口承の伝統である。本稿では,歌手の音声録音から抽出したメロディーの生成モデルに焦点をあてる。ヒンズーシャニーの音楽モデルにおける以前の生成的作業は、歌唱の豊かな表現的な旋律の複雑さを捉えるのに失敗する粗い離散的なシンボルとして旋律を表現している。そこで我々は,階層型音声モデリングの中間表現として,微細な量子化されたピッチ輪郭を提案する。本稿では,ピッチ輪郭生成モデルとピッチ輪郭合成モデルからなるモジュール型2層階層GaMaDHaNiを提案する。非階層型音声モデルと自己教師付き中間表現を用いた階層型モデルとのアプローチをリスニングテストと定性解析により比較する。また、ピアソン相関係数を用いてピッチ輪郭入力を忠実に表現する音響モデルの能力を評価する。ピッチの輪郭を中間表現として使用することにより,2つの潜在的な相互作用ユースケース(1)素数生成,(2)粗いピッチ条件付けを強調することにより,人間とAIの協調的な環境下でのミュージシャンの聴取と応答に,我々のモデルの方が適していることを示す。

関連論文リスト

Combining audio control and style transfer using latent diffusion [1.705371629600151]
本稿では,単一モデル内での明示的な制御とスタイル転送を統一することを目的とする。我々のモデルは、明示的な制御または他のオーディオ例を通して構造を指定しながら、音色ターゲットにマッチする音声を生成することができる。本手法は,異なるジャンルのターゲットオーディオのスタイルにリズミカル・メロディックなコンテンツを転送することで,完全な楽曲のカバーバージョンを生成することができることを示す。
論文参考訳（メタデータ） (2024-07-31T23:27:27Z)
From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-02T22:14:29Z)
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models [25.966328901566815]
ニューラルオーディオと潜時拡散モデルを用いた高品質な歌声合成システムHiddenSingerを提案する。さらに,提案手法を教師なし音声学習フレームワークであるHiddenSinger-Uに拡張し,モデルを訓練する。実験結果から,従来のモデルよりも音質が優れていたことが示唆された。
論文参考訳（メタデータ） (2023-06-12T01:21:41Z)
MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training [74.32603591331718]
本稿では,MLMスタイルの音響事前学習において,教師モデルと擬似ラベルを組み込んだ大規模自己教師型学習(MERT)を用いた音響音楽理解モデルを提案する。実験結果から,本モデルでは14曲の楽曲理解タスクを一般化し,性能を向上し,SOTA(State-of-the-art)全体のスコアを達成できることが示唆された。
論文参考訳（メタデータ） (2023-05-31T18:27:43Z)
Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文参考訳（メタデータ） (2023-02-08T07:27:27Z)
BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis [129.86743102915986]
我々は、音声を共通部分へ分解することで、異なる視点から合成プロセスを定式化する。拡散モデルを備えた新しい2段階フレームワークであるBinauralGradを提案する。実験結果から,BinauralGradは対象評価指標と対象評価指標の両方において,既存のベースラインよりも高い性能を示した。
論文参考訳（メタデータ） (2022-05-30T02:09:26Z)
A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis [13.263771543118994]
1)混合音源から個々の音源をテキスト化する,2)各音源をMIDI音符に書き起こす,3)分離音源の音色に基づいて新曲を合成する,という3つのタスクの統一モデルを提案する。このモデルは、人間が音楽を聴くとき、私たちの心は異なる楽器の音を分離できるだけでなく、スコアや音色といったハイレベルな表現も認識できるという事実にインスピレーションを受けています。
論文参考訳（メタデータ） (2021-08-07T14:28:21Z)
Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
論文参考訳（メタデータ） (2020-08-06T18:29:11Z)
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance [6.531546527140474]
ガウス混合変分オートエンコーダ(GM-VAE)に基づく可制御型ニューラルオーディオシンセサイザーそこで本研究では,モデルが音声に対してきめ細かな形態変化を適用可能であることを実証する。
論文参考訳（メタデータ） (2020-06-16T12:54:41Z)
Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization [48.55126268721948]
本稿では,歌声のメル-スペクトログラムの無条件生成のためのGANモデルを提案する。我々は、時間次元のいくつかの構造を誘導するために、ジェネレータに階層的アーキテクチャーを用いる。歌声生成だけでなく,歌声生成のための新モデルの性能評価を行った。
論文参考訳（メタデータ） (2020-05-18T08:35:16Z)
Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions [14.786601824794369]
ユーザが指定したシンボリックシナリオと過去の音楽コンテキストを組み合わせることで,メロディーを構成するモデルを提案する。本モデルでは,8拍子の音符列を基本単位として長い旋律を生成でき,一貫したリズムパターン構造を他の特定の歌と共有することができる。その結果,本モデルが生成する音楽は,顕著な繰り返し構造,豊かな動機,安定したリズムパターンを有する傾向が示唆された。
論文参考訳（メタデータ） (2020-02-05T06:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。