論文の概要: The Music Maestro or The Musically Challenged, A Massive Music Evaluation Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15885v1
• Date: Sat, 22 Jun 2024 16:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:03:15.662005
• Title: The Music Maestro or The Musically Challenged, A Massive Music Evaluation Benchmark for Large Language Models
• Title（参考訳）: 大規模言語モデルのための大規模音楽評価ベンチマーク, Music Maestro あるいは The Musically Challenged
• Authors: Jiajia Li, Lu Yang, Mingni Tang, Cong Chen, Zuchao Li, Ping Wang, Hai Zhao,
• Abstract要約: ZIQI-Evalは、大規模言語モデル(LLM)の音楽関連能力を評価するために設計されたベンチマークである。 ZIQI-Evalは10の主要なカテゴリと56のサブカテゴリをカバーし、14,000以上の精巧にキュレートされたデータエントリをカバーしている。 その結果,全てのLLMはZIQI-Evalベンチマークでは性能が悪く,音楽能力の向上の余地が示唆された。
• 参考スコア（独自算出の注目度）: 63.53530525014976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmark plays a pivotal role in assessing the advancements of large language models (LLMs). While numerous benchmarks have been proposed to evaluate LLMs' capabilities, there is a notable absence of a dedicated benchmark for assessing their musical abilities. To address this gap, we present ZIQI-Eval, a comprehensive and large-scale music benchmark specifically designed to evaluate the music-related capabilities of LLMs. ZIQI-Eval encompasses a wide range of questions, covering 10 major categories and 56 subcategories, resulting in over 14,000 meticulously curated data entries. By leveraging ZIQI-Eval, we conduct a comprehensive evaluation over 16 LLMs to evaluate and analyze LLMs' performance in the domain of music. Results indicate that all LLMs perform poorly on the ZIQI-Eval benchmark, suggesting significant room for improvement in their musical capabilities. With ZIQI-Eval, we aim to provide a standardized and robust evaluation framework that facilitates a comprehensive assessment of LLMs' music-related abilities. The dataset is available at GitHub\footnote{https://github.com/zcli-charlie/ZIQI-Eval} and HuggingFace\footnote{https://huggingface.co/datasets/MYTH-Lab/ZIQI-Eval}.
• Abstract（参考訳）: ベンチマークは、大規模言語モデル(LLM)の進歩を評価する上で重要な役割を果たす。 LLMの能力を評価するために多くのベンチマークが提案されているが、その音楽能力を評価するための専用のベンチマークが存在しないことは注目すべきである。 このギャップに対処するため,LLMの音楽関連能力を評価するための総合的かつ大規模音楽ベンチマークであるZIQI-Evalを提案する。 ZIQI-Evalは10の主要なカテゴリと56のサブカテゴリをカバーし、14,000以上の精巧にキュレートされたデータエントリをカバーしている。 ZIQI-Eval を利用して16 LLM の総合評価を行い,音楽領域における LLM の性能評価と解析を行う。 その結果,全てのLLMはZIQI-Evalベンチマークでは性能が悪く,音楽能力の向上の余地が示唆された。 ZIQI-Evalでは,LLMの音楽関連能力の包括的評価を容易にする,標準化されたロバストな評価フレームワークの提供を目指している。 データセットはGitHub\footnote{https://github.com/zcli-charlie/ZIQI-Eval} と HuggingFace\footnote{https://huggingface.co/datasets/MYTH-Lab/ZIQI-Eval} で入手できる。

関連論文リスト

• Can LLMs "Reason" in Music? An Evaluation of LLMs' Capability of Music Understanding and Generation [31.825105824490464]
  シンボリック・ミュージック(英: Symbolic Music)は、言語に似た、離散的な記号で符号化される。 近年,大言語モデル (LLM) を記号的音楽領域に適用する研究が進められている。 本研究は, シンボリック・ミュージック・プロセッシングにおけるLLMの能力と限界について, 徹底的に検討する。
  論文  参考訳（メタデータ） (2024-07-31T11:29:46Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Top Leaderboard Ranking = Top Coding Proficiency, Always? EvoEval: Evolving Coding Benchmarks via LLM [13.324171480106715]
  EvoEvalは、既存のベンチマークを異なるターゲットドメインに進化させたプログラム合成ベンチマークスイートである。 我々の研究では、HumanEvalのような標準ベンチマークで得られたハイパフォーマンスと比較して、パフォーマンスが大幅に低下していることが示されている。 本稿では,リワードや微妙な変化に遭遇した場合の命令追従モデルの脆さなど,様々な知見を紹介する。
  論文  参考訳（メタデータ） (2024-03-28T03:10:39Z)
• tinyBenchmarks: evaluating LLMs with fewer examples [42.95407654805037]
  Open LLM Leaderboard、MMLU、HELM、AlpacaEval 2.0。 実験により,これらのツールと小さなベンチマークは,元の評価結果を確実かつ効率的に再現するのに十分であることを実証した。
  論文  参考訳（メタデータ） (2024-02-22T22:05:23Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• ArcMMLU: A Library and Information Science Benchmark for Large Language Models [25.36473762494066]
  本稿では,中国語のライブラリ・アンド・インフォメーション・サイエンス(LIS)ドメインに適したベンチマークであるArcMMLUを紹介する。 このベンチマークは、考古学、データ科学、図書館科学、情報科学の4つの重要なサブドメインにおいて、LLMの知識と推論能力を測定することを目的としている。 総合評価の結果,ほとんどのLLMはArcMMLUで50%以上の精度を達成するが,性能差は顕著であることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T16:08:04Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
  我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。 音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。 次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
  論文  参考訳（メタデータ） (2023-06-18T12:56:46Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。