論文の概要: A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription

• arxiv url: http://arxiv.org/abs/2304.05917v1
• Date: Wed, 12 Apr 2023 15:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 14:34:33.012346
• Title: A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription
• Title（参考訳）: 音素インフォームドニューラルネットワークモデルによる音韻レベルの歌唱書き起こし
• Authors: Sangeon Yong, Li Su, Juhan Nam
• Abstract要約: 本稿では,歌唱の言語的特徴を活用して,より正確に歌唱音声の音節オンセットを見つける方法を提案する。 本手法は, 歌唱文の書き起こし性能を大幅に向上させ, 歌唱分析における言語的特徴の重要性を強調している。
• 参考スコア（独自算出の注目度）: 11.951441023641975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Note-level automatic music transcription is one of the most representative music information retrieval (MIR) tasks and has been studied for various instruments to understand music. However, due to the lack of high-quality labeled data, transcription of many instruments is still a challenging task. In particular, in the case of singing, it is difficult to find accurate notes due to its expressiveness in pitch, timbre, and dynamics. In this paper, we propose a method of finding note onsets of singing voice more accurately by leveraging the linguistic characteristics of singing, which are not seen in other instruments. The proposed model uses mel-scaled spectrogram and phonetic posteriorgram (PPG), a frame-wise likelihood of phoneme, as an input of the onset detection network while PPG is generated by the pre-trained network with singing and speech data. To verify how linguistic features affect onset detection, we compare the evaluation results through the dataset with different languages and divide onset types for detailed analysis. Our approach substantially improves the performance of singing transcription and therefore emphasizes the importance of linguistic features in singing analysis.
• Abstract（参考訳）: ノートレベルの自動音楽書き起こしは、最も代表的な音楽情報検索(MIR)タスクの一つであり、様々な楽器が音楽を理解するために研究されている。 しかし、高品質なラベルデータがないため、多くの楽器の転写は依然として困難な課題である。 特に歌唱の場合、ピッチ、音色、ダイナミクスの表現性から正確な音符を見つけることは困難である。 本稿では,他の楽器では見られない歌唱の言語的特徴を活用して,より正確に歌唱音声の音節オンセットを見つける手法を提案する。 提案モデルでは,音素のフレームワイズであるメルスケール・スペクトログラムと音素後部グラム(PPG)をオンセット検出ネットワークの入力として使用し,歌声データと音声データを用いた事前学習ネットワークでPSGを生成する。 言語的特徴がオンセット検出にどう影響するかを検証するため,データセットによる評価結果を異なる言語と比較し,詳細な分析を行うためにオンセット型を分割する。 提案手法は, 歌唱翻訳の性能を大幅に向上させ, 歌唱分析における言語的特徴の重要性を強調した。

関連論文リスト

• Automatic Estimation of Singing Voice Musical Dynamics [9.343063100314687]
  本稿では,データセットキュレーションの方法論を提案する。 我々は163のスコアファイルと一致して509の楽曲のダイナミックスを歌声の演奏に注釈付けしたデータセットをコンパイルする。 我々は、様々なウィンドウサイズを持つCNNモデルを訓練し、音楽力学を推定するの有効性を評価する。 実験の結果,バークスケールによる音声力学予測は対数メル特徴よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-27T18:15:18Z)
• Cluster and Separate: a GNN Approach to Voice and Staff Prediction for Score Engraving [5.572472212662453]
  本稿では,音符を量子化された記号楽曲(例えばMIDIファイル)から複数の音声とステーブに分離する問題にアプローチする。 本稿では,同じ和音に属する音符を音声の一部であればエッジで接続する,グラフニューラルネットワークに基づくエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T14:36:13Z)
• Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription [19.228155694144995]
  Timbre-Trapは、音楽の書き起こしと音声の再構成を統合する新しいフレームワークである。 我々は1つのオートエンコーダを訓練し、ピッチサリエンスを同時に推定し、複雑なスペクトル係数を再構成する。 このフレームワークは、最先端の楽器に依存しない書き起こし手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-09-27T15:19:05Z)
• LyricWhiz: Robust Multilingual Zero-shot Lyrics Transcription by Whispering to ChatGPT [48.28624219567131]
  リリックウィズ(LyricWhiz)は、頑健で、多言語で、ゼロショットの自動歌詞書き起こし方式である。 我々は、弱教師付き頑健な音声認識モデルであるWhisperと、今日の最もパフォーマンスの高いチャットベースの大規模言語モデルであるGPT-4を使用している。 実験の結果,LyricWhizは英語の既存手法に比べて単語誤り率を大幅に低下させることがわかった。
  論文  参考訳（メタデータ） (2023-06-29T17:01:51Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• Melody transcription via generative pre-training [86.08508957229348]
  メロディの書き起こしの鍵となる課題は、様々な楽器のアンサンブルや音楽スタイルを含む幅広いオーディオを処理できる方法を構築することである。 この課題に対処するために、広帯域オーディオの生成モデルであるJukebox(Dhariwal et al. 2020)の表現を活用する。 広義音楽のクラウドソースアノテーションから50ドル(約5,400円)のメロディ書き起こしを含む新しいデータセットを導出する。
  論文  参考訳（メタデータ） (2022-12-04T18:09:23Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Cadence Detection in Symbolic Classical Music using Graph Neural Networks [7.817685358710508]
  本稿では,シンボルスコアのグラフ表現を中間的手段として提示し,ケイデンス検出課題を解決する。 グラフ畳み込みネットワークを用いた不均衡ノード分類問題としてケイデンス検出にアプローチする。 実験の結果,グラフ畳み込みは,非局所的コンテキストを符号化する特殊な特徴を考案する必要がなく,ケイデンス検出を支援する非局所的特徴を学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-31T12:39:57Z)
• Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music [69.2737664640826]
  本稿では,異なる種類の記憶機構(メモリセル)について評価し,音楽合成分野におけるその性能について検討する。 提案したアーキテクチャの性能を自動評価するために,定量的な測定値のセットが提示される。
  論文  参考訳（メタデータ） (2020-12-02T14:19:19Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。