論文の概要: Deep Performer: Score-to-Audio Music Performance Synthesis

• arxiv url: http://arxiv.org/abs/2202.06034v1
• Date: Sat, 12 Feb 2022 10:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 18:16:45.774776
• Title: Deep Performer: Score-to-Audio Music Performance Synthesis
• Title（参考訳）: ディープパフォーマー:スコアからオーディオへの演奏合成
• Authors: Hao-Wen Dong, Cong Zhou, Taylor Berg-Kirkpatrick, Julian McAuley
• Abstract要約: Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
• 参考スコア（独自算出の注目度）: 30.95307878579825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music performance synthesis aims to synthesize a musical score into a natural performance. In this paper, we borrow recent advances in text-to-speech synthesis and present the Deep Performer -- a novel system for score-to-audio music performance synthesis. Unlike speech, music often contains polyphony and long notes. Hence, we propose two new techniques for handling polyphonic inputs and providing a fine-grained conditioning in a transformer encoder-decoder model. To train our proposed system, we present a new violin dataset consisting of paired recordings and scores along with estimated alignments between them. We show that our proposed model can synthesize music with clear polyphony and harmonic structures. In a listening test, we achieve competitive quality against the baseline model, a conditional generative audio model, in terms of pitch accuracy, timbre and noise level. Moreover, our proposed model significantly outperforms the baseline on an existing piano dataset in overall quality.
• Abstract（参考訳）: 音楽演奏合成は、楽譜を自然な演奏に合成することを目的としている。 本稿では,テキスト対音声合成の最近の進歩を借用し,スコア対音声音楽演奏合成のための新しいシステムである深層演奏者を提案する。 音声とは異なり、音楽はしばしばポリフォニーと長い音符を含んでいる。 そこで本研究では,ポリフォニック入力を扱うための2つの新しい手法を提案し,変換器エンコーダ・デコーダモデルに微細な条件付けを提供する。 提案するシステムをトレーニングするために,記録とスコアのペアによる新しいバイオリンデータセットと,それら間のアライメントを推定する。 提案するモデルは、明瞭なポリフォニーと調和構造を持つ楽曲を合成できることを示す。 聴取テストでは,音のピッチ精度,音色,雑音レベルの観点から,条件付き生成音声モデルであるベースラインモデルと競合する品質を実現する。 さらに,提案モデルでは,既存のピアノデータセットのベースラインを全体の品質で大幅に上回っている。

関連論文リスト

• Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
  変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。 シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。 実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-10T13:08:49Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling [6.256118777336895]
  音楽表現は、どの音符が演奏され、どのように演奏されるかの両方を制御する必要がある。 楽器の階層モデルであるMIDI-DDSPを導入し,リアルなニューラルオーディオ合成と詳細なユーザ制御を実現する。 この階層は、高忠実度音声を再構成し、音符列のパフォーマンス特性を正確に予測し、与えられた音符列の属性を独立に操作し、また、完全なシステムとして、新しい音符列から現実的な音声を生成することを実証する。
  論文  参考訳（メタデータ） (2021-12-17T04:15:42Z)
• Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control [47.33830090185952]
  任意の話者の声に適応できるテキスト・トゥ・ラッピング・歌唱システムを導入する。 読み上げ専用音声データに基づいて訓練されたタコトロンベースのマルチスピーカ音響モデルを利用する。 その結果,提案手法は自然性を高めた高品質なラッピング/歌唱音声を生成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-17T14:31:55Z)
• A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis [13.263771543118994]
  1)混合音源から個々の音源をテキスト化する,2)各音源をMIDI音符に書き起こす,3)分離音源の音色に基づいて新曲を合成する,という3つのタスクの統一モデルを提案する。 このモデルは、人間が音楽を聴くとき、私たちの心は異なる楽器の音を分離できるだけでなく、スコアや音色といったハイレベルな表現も認識できるという事実にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2021-08-07T14:28:21Z)
• An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition [24.377724078096144]
  ピアノと管弦楽の楽譜は多音節をしばしば示しており、これはその課題に第2の次元を付け加えている。 終端ポリフォニックOMRの2つの新しい定式化法を提案する。 我々は,マルチシーケンス検出デコーダであるRNNDecoderを用いて,新しい最先端性能を観察する。
  論文  参考訳（メタデータ） (2021-08-03T22:04:40Z)
• Neural Waveshaping Synthesis [0.0]
  ニューラルオーディオ合成に対する,新しい,軽量で完全な因果的アプローチを提案する。 ニューラルウェーブシェイピングユニット(NEWT)は、波形領域で直接動作する。 入力信号と出力信号の単純なアフィン変換によって複雑な鼓膜進化を生成する。
  論文  参考訳（メタデータ） (2021-07-11T13:50:59Z)
• WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis [80.60577805727624]
  WaveGrad 2は音声合成のための非自己回帰生成モデルである。 最先端のニューラルTSシステムの性能に近づき、高忠実度オーディオを生成することができる。
  論文  参考訳（メタデータ） (2021-06-17T17:09:21Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。