論文の概要: Music Arena: Live Evaluation for Text-to-Music
- arxiv url: http://arxiv.org/abs/2507.20900v1
- Date: Mon, 28 Jul 2025 14:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.170434
- Title: Music Arena: Live Evaluation for Text-to-Music
- Title(参考訳): Music Arena: テキスト・トゥ・ミュージックのためのライブ・アセスメント
- Authors: Yonghyun Kim, Wayne Chi, Anastasios N. Angelopoulos, Wei-Lin Chiang, Koichi Saito, Shinji Watanabe, Yuki Mitsufuji, Chris Donahue,
- Abstract要約: Music Arenaは、TTM(text-to-music)モデルのスケーラブルな人間の嗜好評価のためのオープンプラットフォームである。
ユーザは2つのTTMシステムの出力を選択して比較するテキストプロンプトを入力し、その好みを使ってリーダーボードをコンパイルする。
- 参考スコア(独自算出の注目度): 48.945268855231454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Music Arena, an open platform for scalable human preference evaluation of text-to-music (TTM) models. Soliciting human preferences via listening studies is the gold standard for evaluation in TTM, but these studies are expensive to conduct and difficult to compare, as study protocols may differ across systems. Moreover, human preferences might help researchers align their TTM systems or improve automatic evaluation metrics, but an open and renewable source of preferences does not currently exist. We aim to fill these gaps by offering *live* evaluation for TTM. In Music Arena, real-world users input text prompts of their choosing and compare outputs from two TTM systems, and their preferences are used to compile a leaderboard. While Music Arena follows recent evaluation trends in other AI domains, we also design it with key features tailored to music: an LLM-based routing system to navigate the heterogeneous type signatures of TTM systems, and the collection of *detailed* preferences including listening data and natural language feedback. We also propose a rolling data release policy with user privacy guarantees, providing a renewable source of preference data and increasing platform transparency. Through its standardized evaluation protocol, transparent data access policies, and music-specific features, Music Arena not only addresses key challenges in the TTM ecosystem but also demonstrates how live evaluation can be thoughtfully adapted to unique characteristics of specific AI domains. Music Arena is available at: https://music-arena.org
- Abstract(参考訳): 本稿では,テキスト・ツー・ミュージック(TTM)モデルのスケーラブルな人選好評価のためのオープンプラットフォームであるMusic Arenaを紹介する。
聴取研究による人間の嗜好の要請は、TTMにおける評価のための金の基準であるが、これらの研究は実行に高価であり、研究プロトコルがシステムによって異なる可能性があるため、比較が困難である。
さらに、人間の嗜好は、研究者のTTMシステムの整列や自動評価基準の改善に役立つかもしれないが、現在、オープンで再生可能な選好源は存在しない。
TTMの*live*評価を提供することで、これらのギャップを埋めることを目指しています。
Music Arenaでは、現実世界のユーザーは2つのTTMシステムからの出力をテキストプロンプトとして入力し、その好みを使ってリーダーボードをコンパイルする。
Music Arenaは、他のAIドメインにおける最近の評価傾向に従う一方で、TTMシステムの異種型シグネチャをナビゲートするLLMベースのルーティングシステムや、リスニングデータや自然言語フィードバックを含む*詳細*の好みの収集など、音楽に合わせた重要な機能を備えた設計も行います。
また,ユーザのプライバシを保証し,好みデータを再生可能なソースとして提供し,プラットフォーム透過性を向上するローリングデータリリースポリシーを提案する。
標準化された評価プロトコル、透過的なデータアクセスポリシ、音楽特有の機能を通じて、Music ArenaはTTMエコシステムにおける重要な課題に対処するだけでなく、特定のAIドメインのユニークな特性にライブ評価がどのように適応できるかを実証する。
Music Arena は以下の https://music-arena.org で利用可能である。
関連論文リスト
- Detecting Musical Deepfakes [0.0]
本研究では,FakeMusicCapsデータセットを用いたAI生成楽曲の検出について検討した。
実世界の逆境条件をシミュレートするため, テンポストレッチとピッチシフトをデータセットに適用した。
メルスペクトログラムは、修正されたオーディオから生成され、その後、畳み込みニューラルネットワークのトレーニングと評価に使用された。
論文 参考訳(メタデータ) (2025-05-03T21:45:13Z) - Aligning Text-to-Music Evaluation with Human Preferences [63.08368388389259]
本稿では,TTM(生成音響テキスト・ツー・ミュージック)モデルの評価のための基準ベース分散指標の設計空間について検討する。
私たちは、合成データと人間の嗜好データの両方に標準のFAD設定が矛盾しているだけでなく、既存の指標のほとんどすべてがデシデラタを効果的に捉えていないことに気付きました。
我々は,自己教師型音声埋め込みモデルから表現に基づいて計算したMAUVE Audio Divergence(MAD)を提案する。
論文 参考訳(メタデータ) (2025-03-20T19:31:04Z) - Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval [7.7464988473650935]
Text-to-Music Retrievalは、広範な音楽データベース内のコンテンツ発見において重要な役割を担っている。
本稿では,TTMR++と呼ばれる改良されたテキスト・音楽検索モデルを提案する。
論文 参考訳(メタデータ) (2024-10-04T09:33:34Z) - MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。
音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。
次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
論文 参考訳(メタデータ) (2023-06-18T12:56:46Z) - Unaligned Supervision For Automatic Music Transcription in The Wild [1.2183405753834562]
NoteEMは、トランクレーバーを同時に訓練し、スコアを対応するパフォーマンスに合わせる方法である。
我々は、MAPSデータセットのSOTAノートレベル精度と、データセット間の評価において好適なマージンを報告した。
論文 参考訳(メタデータ) (2022-04-28T17:31:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。