論文の概要: Don't CLAP: Are Music-Text Models Bag-of-Words?

• arxiv url: http://arxiv.org/abs/2609.30540v1
• Date: Thu, 24 Sep 2026 20:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.136079
• Title: Don't CLAP: Are Music-Text Models Bag-of-Words?
• Title（参考訳）: Don't CLAP: Music-Text Models Bag-of-Words?
• Abstract要約: CLAPスコアは, 微粒な音楽的意味や属性の結合を捉えないことを示す。 以上の結果から,CLAPスコアとその関連指標が詳細な音楽的意味や属性の結合を捉えていないことを示す。
• 参考スコア（独自算出の注目度）: 48.14216349080224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-music systems are assessed on audio quality and on how faithfully the music follows its prompt, and the CLAP score, the cosine similarity between a music-text model's audio and text embeddings, is the standard objective metric of faithfulness. We ask how accurately that score reflects the text: when an attribute is linked to an instrument (e.g., distorted guitar), does the text embedding capture that binding? To find out, we introduce an attribute swap perturbation: the caption of a real recording is edited by exchanging exactly one property, timbre, lead versus accompaniment, or order of first appearance, between two instruments. We then test four contrastive music-text models and one large audio-language model on whether the audio scores higher against the original caption than against the perturbed one. No contrastive model distinguishes the two captions reliably. The audio-language model does better, but further experiments show that its advantage rests largely on audio-agnostic language priors. Our results thus provide compelling evidence that the CLAP score and related metrics do not capture fine-grained musical meaning or attribute bindings; their representation is closer to a bag-of-words that leaves them insensitive to meaning-changing perturbations of the caption.
• Abstract（参考訳）: テキスト・トゥ・ミュージック・システムは、音質と、その即興性に対する音楽の忠実さに基づいて評価され、CLAPスコアは、音楽テキストモデルの音声とテキストの埋め込みのコサインの類似性は、忠実性の標準的な客観的な指標である。 属性が楽器(例えば、ゆがんだギター)にリンクされている場合、テキストの埋め込みはそのバインディングをキャプチャしますか? 実際の録音のキャプションは、2つの楽器間で、正確に1つの特性、音色、リード対伴奏、または最初の出現順序を交換することによって編集される。 次に、4つのコントラストのある音楽テキストモデルと1つの大きなオーディオ言語モデルを試行し、音声スコアがオリジナルのキャプションに対して、摂動したものよりも高いかどうかを検証した。 対照的なモデルは2つのキャプションを確実に区別しない。 音声言語モデルの方が優れているが、さらなる実験により、その利点は音声に依存しない言語に大きく依存していることが示されている。 以上の結果から,CLAPスコアと関連する指標が詳細な音楽的意味や属性の結合を捉えていないことを示す。

関連論文リスト

• FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
  自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。 この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。 本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T18:05:39Z)
• Towards Effective Negation Modeling in Joint Audio-Text Models for Music [3.7723788828505125]
  共同音声テキストモデルは否定のような意味的な現象と競合する。 テキスト拡張による否定と異種性に基づくコントラスト損失を導入する。 本稿では,検索および二項分類タスクとして,否定モデリングをフレーム化する2つのプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-01-20T13:06:48Z)
• Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics? [10.420650470020844]
  音節の知覚的次元を捉える能力に基づいて,上述の3つの共同言語-オーディオ埋め込みモデルを評価した。 以上の結果から,LAION-CLAPは,楽器音と音響効果の両面において,人間の知覚した音色セマンティクスと最も信頼性の高いアライメントを提供することが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-16T03:01:41Z)
• Evaluation of pretrained language models on music understanding [0.0]
  その結果, 言語モデル(LLM)は, 1) アクセシビリティ, 2) 否定をモデル化できないこと, 3) 特定の単語の存在に対する感受性に悩まされていることがわかった。 我々はこれらの特性を三重項に基づく精度として定量化し、階層的オントロジーにおいてラベルの相対的類似性をモデル化する能力を評価した。 比較的高い精度が報告されているにもかかわらず、6つのモデルすべてに矛盾があることは明らかであり、既製のLLMは使用前に音楽に適応する必要があることを示唆している。
  論文  参考訳（メタデータ） (2024-09-17T14:44:49Z)
• Zero-Shot Audio Captioning via Audibility Guidance [57.70351255180495]
  音声のキャプションのためのデシラタを3つ提案する -- (i) 生成したテキストの流布, (ii) 生成したテキストを入力オーディオに忠実さ, (iii) 可聴性。 本手法はゼロショット法であり,キャプションの実行を学習していない。 本稿では,AudioCapデータセットを用いて,聴力指導がベースラインと比較して性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:45:58Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning [11.247238840604282]
  優れたアレンジモデルは、オーディオコンテンツだけでなく、ピアノ構成に関する事前知識も考慮すべきである。 音声から和音と旋律情報を抽出するクロスモーダル表現学習モデルを提案する。 実験により,本モデルが主要な音声情報をキャプチャし,生成品質においてベースラインを上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-30T16:05:30Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。