論文の概要: Automatic Estimation of Singing Voice Musical Dynamics

• arxiv url: http://arxiv.org/abs/2410.20540v1
• Date: Sun, 27 Oct 2024 18:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 12:02:04.540586
• Title: Automatic Estimation of Singing Voice Musical Dynamics
• Title（参考訳）: 歌声音楽のダイナミクスの自動推定
• Authors: Jyoti Narang, Nazif Can Tamer, Viviana De La Vega, Xavier Serra,
• Abstract要約: 本稿では,データセットキュレーションの方法論を提案する。 我々は163のスコアファイルと一致して509の楽曲のダイナミックスを歌声の演奏に注釈付けしたデータセットをコンパイルする。 我々は、様々なウィンドウサイズを持つCNNモデルを訓練し、音楽力学を推定するの有効性を評価する。 実験の結果,バークスケールによる音声力学予測は対数メル特徴よりも優れていた。
• 参考スコア（独自算出の注目度）: 9.343063100314687
• License:
• Abstract: Musical dynamics form a core part of expressive singing voice performances. However, automatic analysis of musical dynamics for singing voice has received limited attention partly due to the scarcity of suitable datasets and a lack of clear evaluation frameworks. To address this challenge, we propose a methodology for dataset curation. Employing the proposed methodology, we compile a dataset comprising 509 musical dynamics annotated singing voice performances, aligned with 163 score files, leveraging state-of-the-art source separation and alignment techniques. The scores are sourced from the OpenScore Lieder corpus of romantic-era compositions, widely known for its wealth of expressive annotations. Utilizing the curated dataset, we train a multi-head attention based CNN model with varying window sizes to evaluate the effectiveness of estimating musical dynamics. We explored two distinct perceptually motivated input representations for the model training: log-Mel spectrum and bark-scale based features. For testing, we manually curate another dataset of 25 musical dynamics annotated performances in collaboration with a professional vocalist. We conclude through our experiments that bark-scale based features outperform log-Mel-features for the task of singing voice dynamics prediction. The dataset along with the code is shared publicly for further research on the topic.
• Abstract（参考訳）: 音楽力学は、表現力のある歌声の演奏の核となる部分を形成する。 しかし、適切なデータセットの不足や明確な評価フレームワークの欠如などにより、歌唱音声のための音楽力学の自動解析に注意が向けられている。 この課題に対処するため,データセットのキュレーション手法を提案する。 提案手法を応用して,509曲の歌声演奏を注釈付けし,163曲のスコアファイルと整列し,最先端の音源分離とアライメント技術を活用するデータセットをコンパイルする。 楽譜は、その豊かな表現的な注釈で広く知られているロマンティックな時代の作曲のOpenScore Liederコーパスに由来する。 キュレートされたデータセットを用いて、異なるウィンドウサイズを持つマルチヘッドアテンションに基づくCNNモデルを訓練し、音楽力学を推定する効果を評価する。 モデルトレーニングでは,対数メルスペクトル(log-Mel spectrum)とバークスケール(bark-scale)の2つの特徴を知覚的に動機づけた入力表現について検討した。 テストでは、プロのボーカリストと共同で、25の動的注釈付きパフォーマンスのデータセットを手作業でキュレートする。 実験の結果,バークスケールによる音声力学予測は対数メル特徴よりも優れていた。 コードとともにデータセットが公開され、トピックに関するさらなる研究が行われている。

関連論文リスト

• Cluster and Separate: a GNN Approach to Voice and Staff Prediction for Score Engraving [5.572472212662453]
  本稿では,音符を量子化された記号楽曲(例えばMIDIファイル)から複数の音声とステーブに分離する問題にアプローチする。 本稿では,同じ和音に属する音符を音声の一部であればエッジで接続する,グラフニューラルネットワークに基づくエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T14:36:13Z)
• End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding [4.604877755214193]
  既存のピアノA2Sシステムは、合成データのみで訓練され、評価されている。 楽譜の階層構造に整合した階層デコーダを用いたシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。 本研究では,合成音声上での表現的パフォーマンスレンダリングシステムを用いてモデルを事前学習する2段階学習手法を提案し,続いて人間の演奏記録を用いてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-22T10:52:04Z)
• Singer Identity Representation Learning using Self-Supervised Techniques [0.0]
  歌唱関連タスクに適した表現を抽出するシンガーアイデンティティエンコーダを訓練するためのフレームワークを提案する。 我々は,孤立した音声トラックの集合体上で,異なる自己教師付き学習手法を探索する。 歌手の類似度と識別タスクにおける表現の質を評価する。
  論文  参考訳（メタデータ） (2024-01-10T10:41:38Z)
• Human Voice Pitch Estimation: A Convolutional Network with Auto-Labeled and Synthetic Data [0.0]
  本稿では,ピッチ抽出のための特殊な畳み込みニューラルネットワークを提案する。 提案手法は,合成データと自動ラベル付アカペラ歌唱音声を組み合わせることで,ロバストなトレーニング環境を構築する。 この研究は、音楽と音声の両方において、ピッチ抽出の強化の道を開くものである。
  論文  参考訳（メタデータ） (2023-08-14T14:26:52Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription [11.951441023641975]
  本稿では,歌唱の言語的特徴を活用して,より正確に歌唱音声の音節オンセットを見つける方法を提案する。 本手法は, 歌唱文の書き起こし性能を大幅に向上させ, 歌唱分析における言語的特徴の重要性を強調している。
  論文  参考訳（メタデータ） (2023-04-12T15:36:01Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。