論文の概要: Whistle and Wrong Lyrics: Synthetic Queries Are Not Enough for Real-World Query-by-Melody

• arxiv url: http://arxiv.org/abs/2610.25371v1
• Date: Sun, 18 Oct 2026 16:17:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:05:49.671977
• Title: Whistle and Wrong Lyrics: Synthetic Queries Are Not Enough for Real-World Query-by-Melody
• Title（参考訳）: Whistle and Wrong Lyrics: リアルタイムクエリ・バイ・メロディの合成クエリは不十分
• Abstract要約: 人々はそれをハミングして歌を拾い上げるが、その歌を間違った言葉で口笛で吹く。 公開データセットは、ホイッスルや、歌の録音で歌う間違った歌詞のペアは存在しない。 メロディのみの検索システムを用いて,両方のクエリタイプについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: People look up a song by humming it, but also by whistling it or singing it with the wrong words. Published query-by-humming systems and benchmarks focus on hums and sung queries, and no public dataset pairs whistles or wrong-lyrics singing with song recordings. We study both query types with a melody-only retrieval system: a key-normalized pitch track embedded by a 5.2M-parameter contour encoder, with a spectral-peak tracker for whistles. First, a physics-grounded generator renders synthetic whistles and nonsense-syllable singing from the vocal melodies of 11,083 songs. Training on them raises top-1 retrieval of held-out synthetic queries against an 11,050-song gallery from 0.180 to 0.251 for whistles and from 0.193 to 0.264 for wrong-lyrics singing, but the gain does not transfer: on the MLEnd test performers the best synthetic-only model gets 210 of 339 real whistles right at top-1, against 214 for the baseline. Second, a closed-set fine-tune on real MLEnd whistles with performer-disjoint splits raises whistle-to-hum top-1 from 0.631 (95% CI 0.581-0.681) to 0.673 (0.622-0.723), on known songs only. Third, two further generations of synthetic queries also fail to transfer: melody-conditioned whistles and la-la singing from a commercial neural music model leave real-whistle top-1 at 0.631, and an open-source pipeline (YingMusic-Singer-Plus singing with partly wrong, mumbled or nonsense lyrics, a DDSP whistle synthesizer, and a melody-error model fitted on real performers) gives at best 0.619 (paired difference -0.012, 95% CI -0.038 to +0.015). Across physics-based, commercial neural and open-source neural synthetic data, nothing transferred to real whistles, which points to collecting real queries as the missing step. Code is public; models and data will be released.
• Abstract（参考訳）: 人々はそれをハミングして歌を拾い上げるが、それを口笛で鳴らしたり、間違った言葉で歌ったりもする。 公開されたクエリ・バイ・ハンミングシステムとベンチマークは、ヒュームと歌のクエリに重点を置いており、公開データセットペアがwhiや間違った歌詞を歌いながら歌うことはない。 両クエリタイプをメロディのみの検索システムを用いて検討し,5.2Mパラメータのコントラストエンコーダに埋め込まれたキー正規化ピッチトラックと,ホイッスルのためのスペクトルピークトラッカーについて検討した。 まず、物理グラウンドのジェネレータは、11,083曲のボーカル・メロディーから合成ホイッスルとナンセンス音節の歌を描画する。 トレーニングでは、11,050曲のギャラリーに対して11,050曲の合成クエリを0.180曲から0.251曲まで、誤歌詞を0.193曲から0.264曲まで、トップ1で検索する。 第2に、パフォーマー・ディスジョイント・スプリットの実際のMLEndホイッスルのクローズドセットのファインチューンでは、whith-to-hum top-1が0.631(95% CI 0.581-0.681)から0.673(0.622-0.723)に上昇する。 第3に、商業的なニューラルミュージックモデルからの旋律条件付きwhisとla-laの歌唱は、実際のwhistle top-1から0.631に、オープンソースパイプライン(YingMusic-Singer-Plusの歌唱は一部間違っていて、mumbledまたはnonsenseの歌詞、DDSPのシンセサイザー、および実際の演奏者に装着されたメロディエラーモデル)は、少なくとも0.619(paired difference -0.012, 95% CI -0.038 to +0.015)を与える。 物理学に基づく商用のニューラルネットワークとオープンソースのニューラルシンセサイザーデータ全体にわたって、実際のwhiには何も転送されない。 コードは公開されており、モデルとデータはリリースされる。

関連論文リスト

• Tracking the Trend in How Speech Synthesizers Deceive People [0.15635627702544694]
  2019年、2022年、2024年にリリースされた音声合成ツールを82人のIT専門家と比較した。 完全合成音声(フルスプーフ)では、F1スコアはRTVCとYourTTSの約90%から、ElevenLabsの48%に低下する。 発声文が1文だけ変更された部分スプーフィングでは、厳密な精度は9%に低下する。
  論文  参考訳（メタデータ） (2026-08-20T12:27:37Z)
• An approach to hummed-tune and song sequences matching [5.005072606979947]
  Hum2Song Zalo AI Challenge 2021は、ユーザーがハミングチューンを打つことで曲の名前を検索するコンテストだ。 本稿では,原型(mp3)からトレーニングおよび推論に使用可能な形式まで,事前処理されたデータの詳細について述べる。 結果は、公開テストセットのMRR@10測定値の94%近くと、公開リーダボードのトップ1に表示される。
  論文  参考訳（メタデータ） (2024-10-27T06:50:43Z)
• SONICS: Synthetic Or Not -- Identifying Counterfeit Songs [0.16777183511743465]
  我々は、エンドツーエンド合成歌検出(SSD)のための新しいデータセットSONICSを紹介する。 歌唱における時間的長期依存性をモデル化することの重要性を強調した。 長い曲では、私たちのトップパフォーマンスの変種は、F1スコアでVTを8%上回り、より38%速く、メモリは26%減っています。
  論文  参考訳（メタデータ） (2024-08-26T08:02:57Z)
• Accompanied Singing Voice Synthesis with Fully Text-controlled Melody [61.147446955297625]
  Text-to-song (TTSong) は、歌声の伴奏を合成する音楽生成タスクである。 完全テキスト制御されたメロディで高品質な曲を生成する最初のTTSongモデルであるMelodyLMを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:23:38Z)
• Text-to-Song: Towards Controllable Music Generation Incorporating Vocals and Accompaniment [56.019288564115136]
  ボーカルと伴奏の両方を組み込んだテキスト・ツー・サング・シンセサイザーという新しいタスクを提案する。 我々は,歌唱音声合成 (SVS) とV2A合成 (V2A) を組み合わせた2段階音声合成法であるメロディストを開発した。 評価結果は,メロディストが同等の品質とスタイルの整合性で楽曲を合成できることを実証した。
  論文  参考訳（メタデータ） (2024-04-14T18:00:05Z)
• Syn-Att: Synthetic Speech Attribution via Semi-Supervised Unknown Multi-Class Ensemble of CNNs [1.262949092134022]
  合成音声トラックを合成に用いるジェネレータに属性付ける新しい手法を提案する。 提案した検出器は、音声を対数メル分光器に変換し、CNNを用いて特徴を抽出し、5つの既知のアルゴリズムと未知のアルゴリズムを分類する。 ICASSP 2022のIEEE SP Cupチャレンジでは、Eval 2で12-13%、Eval 1で1-2%の精度で他のトップチームを上回った。
  論文  参考訳（メタデータ） (2023-09-15T04:26:39Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• Melody transcription via generative pre-training [86.08508957229348]
  メロディの書き起こしの鍵となる課題は、様々な楽器のアンサンブルや音楽スタイルを含む幅広いオーディオを処理できる方法を構築することである。 この課題に対処するために、広帯域オーディオの生成モデルであるJukebox(Dhariwal et al. 2020)の表現を活用する。 広義音楽のクラウドソースアノテーションから50ドル(約5,400円)のメロディ書き起こしを含む新しいデータセットを導出する。
  論文  参考訳（メタデータ） (2022-12-04T18:09:23Z)
• DeepSinger: Singing Voice Synthesis with Data Mined From the Web [194.10598657846145]
  DeepSinger(ディープシンガー)は、音楽ウェブサイトから抽出された歌唱訓練データを用いて、スクラッチから構築された多言語歌唱音声合成システムである。 DeepSingerを3つの言語で89人の歌手から約92時間のデータからなるマイニングされた歌唱データセットで評価した。
  論文  参考訳（メタデータ） (2020-07-09T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。