論文の概要: Evaluation of pretrained language models on music understanding

• arxiv url: http://arxiv.org/abs/2409.11449v1
• Date: Tue, 17 Sep 2024 14:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 20:09:46.035964
• Title: Evaluation of pretrained language models on music understanding
• Title（参考訳）: 音楽理解における事前学習言語モデルの評価
• Authors: Yannis Vasilakis, Rachel Bittner, Johan Pauwels,
• Abstract要約: その結果, 言語モデル(LLM)は, 1) アクセシビリティ, 2) 否定をモデル化できないこと, 3) 特定の単語の存在に対する感受性に悩まされていることがわかった。 我々はこれらの特性を三重項に基づく精度として定量化し、階層的オントロジーにおいてラベルの相対的類似性をモデル化する能力を評価した。 比較的高い精度が報告されているにもかかわらず、6つのモデルすべてに矛盾があることは明らかであり、既製のLLMは使用前に音楽に適応する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music-text multimodal systems have enabled new approaches to Music Information Research (MIR) applications such as audio-to-text and text-to-audio retrieval, text-based song generation, and music captioning. Despite the reported success, little effort has been put into evaluating the musical knowledge of Large Language Models (LLM). In this paper, we demonstrate that LLMs suffer from 1) prompt sensitivity, 2) inability to model negation (e.g. 'rock song without guitar'), and 3) sensitivity towards the presence of specific words. We quantified these properties as a triplet-based accuracy, evaluating the ability to model the relative similarity of labels in a hierarchical ontology. We leveraged the Audioset ontology to generate triplets consisting of an anchor, a positive (relevant) label, and a negative (less relevant) label for the genre and instruments sub-tree. We evaluated the triplet-based musical knowledge for six general-purpose Transformer-based models. The triplets obtained through this methodology required filtering, as some were difficult to judge and therefore relatively uninformative for evaluation purposes. Despite the relatively high accuracy reported, inconsistencies are evident in all six models, suggesting that off-the-shelf LLMs need adaptation to music before use.
• Abstract（参考訳）: 音楽テキストマルチモーダルシステムは,音声テキスト検索やテキスト音声検索,テキストベースの楽曲生成,音楽キャプションなど,音楽情報研究(MIR)の新たなアプローチを可能にしている。 報告された成功にもかかわらず、Large Language Models (LLM)の音楽的知識を評価する努力はほとんど行われていない。 本稿では LLM が苦しむことを実証する。 1) 敏感性, 敏感性 2)否定をモデル化できない(例:「ギターなしのロックソング」)、 3)特定の単語の存在に対する感受性。 我々はこれらの特性を三重項に基づく精度として定量化し、階層的オントロジーにおいてラベルの相対的類似性をモデル化する能力を評価した。 我々はAudiosetオントロジーを利用して、アンカー、正(関連)ラベル、およびジャンルと楽器のサブツリーの負(無関係)ラベルからなる三つ子を生成する。 6つの汎用トランスフォーマーモデルに対する三重奏法に基づく音楽知識の評価を行った。 この手法によって得られた三重項は、判定が困難であり、評価の目的に比較的役に立たないものもあったため、フィルタリングを必要とした。 比較的高い精度が報告されているにもかかわらず、6つのモデルすべてに矛盾があることは明らかであり、既製のLLMは使用前に音楽に適応する必要があることを示唆している。

関連論文リスト

• Towards Explainable and Interpretable Musical Difficulty Estimation: A Parameter-efficient Approach [49.2787113554916]
  音楽コレクションの整理には曲の難易度を推定することが重要である。 シンボリックな音楽表現の難易度推定には説明可能な記述子を用いる。 ピアノレパートリーで評価したアプローチは,平均2乗誤差(MSE)が1.7。
  論文  参考訳（メタデータ） (2024-08-01T11:23:42Z)
• I can listen but cannot read: An evaluation of two-tower multimodal systems for instrument recognition [0.0]
  音楽2towerマルチモーダルシステムは、音声とテキストのモダリティを共同の音声テキスト空間に統合する。 本稿では,楽器認識のケーススタディとして,ジョイントオーディオテキスト空間のゼロショット特性について検討する。
  論文  参考訳（メタデータ） (2024-07-25T14:15:05Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription [11.951441023641975]
  本稿では,歌唱の言語的特徴を活用して,より正確に歌唱音声の音節オンセットを見つける方法を提案する。 本手法は, 歌唱文の書き起こし性能を大幅に向上させ, 歌唱分析における言語的特徴の重要性を強調している。
  論文  参考訳（メタデータ） (2023-04-12T15:36:01Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling [5.88864611435337]
  限られたデータ量で高レベルの特徴表現を学習できるフレームワークを提案する。 提案するフレームワークをMusic FaderNetsと呼び,低レベルの属性を継続的に操作できるという事実から着想を得た。 本モデルでは, 覚醒特性とそれに対応する低レベル属性の固有関係をうまく学習できることを実証する。
  論文  参考訳（メタデータ） (2020-07-29T16:01:45Z)
• COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations [32.456824945999465]
  本稿では,学習した音声とその関連タグの潜在表現を調整し,音声表現を学習する手法を提案する。 組込みモデルの性能評価を行い,その性能を3つの異なるタスクにおける特徴抽出器として評価した。
  論文  参考訳（メタデータ） (2020-06-15T13:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。