論文の概要: MusTBENCH: Benchmarking and Advancing Temporal Grounding in Music LLMs

• arxiv url: http://arxiv.org/abs/2605.29300v1
• Date: Thu, 28 May 2026 03:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.632293
• Title: MusTBENCH: Benchmarking and Advancing Temporal Grounding in Music LLMs
• Title（参考訳）: MusTBENCH:音楽LLMにおける時間的グラウンドのベンチマークと改善
• Authors: Daeyong Kwon, Qiyu Wu, Shinobu Kuriya, Junghyun Koo, Shuyang Cui, Zhi Zhong, Wei-Hsiang Liao, Hiromi Wakaki, Yuki Mitsufuji,
• Abstract要約: LALMの時間的接地を評価するために,音楽専門家による評価ベンチマークであるMusTBENCHを導入する。 音楽エンコーダ適応,LLM適応,LLM教師ありファインチューニング,RLに基づく最適化を対象とする,新しい4段階の時間的最適化手法であるMusTを提案する。 MusTBENCHの実験では、既存のLALMは正確な時間的接地に苦しむ一方で、Mustは強いベースラインよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 30.139686124618123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Large Audio-Language Models (LALMs) have demonstrated promising abilities in understanding musical content. However, whether their responses are grounded in the correct temporal regions of the audio remains underexplored. This limitation is particularly critical for music understanding, where key information often occurs as temporally localized events, such as instrument entries and rhythmic transitions. To address this gap, we introduce MusTBENCH, a music-expert-validated benchmark designed to evaluate temporal grounding in LALMs through five temporally grounded question-answering tasks. To further improve temporal grounding in existing models, we propose MusT, a novel four-stage temporal optimization recipe spanning music encoder adaptation, LLM adaptation, LLM supervised fine-tuning, and RL-based optimization. Experiments on MusTBENCH show that existing LALMs struggle with precise temporal grounding, while MusT brings significant improvements over strong baselines. These results establish temporal grounding as a key missing capability in current LALMs and position MusTBENCH as a challenging benchmark for future research in temporally grounded music understanding.
• Abstract（参考訳）: 近年のLALM(Large Audio-Language Models)は,音楽コンテンツを理解する上で有望な能力を示している。 しかし、その応答が音声の正しい時間領域に根拠付けられているかどうかはまだ未解明のままである。 この制限は音楽理解において特に重要であり、鍵となる情報は楽器のエントリやリズムの遷移といった時間的局所化イベントとしてしばしば発生する。 このギャップに対処するために,5つの時間的根拠付き質問応答タスクを通じてLALMの時間的接地を評価するために設計された音楽専門家検証ベンチマークであるMusTBENCHを紹介する。 既存のモデルの時間的グラウンド化をさらに改善するため,音楽エンコーダ適応,LLM適応,LLM教師付き微調整,RLに基づく最適化を対象とする新しい4段階の時間的最適化手法であるMusTを提案する。 MusTBENCHの実験では、既存のLALMは正確な時間的接地に苦しむ一方、Mustは強いベースラインよりも大幅に改善されている。 これらの結果は,現在LALMに欠落している重要な機能として時間的接地を確立し,M MusTBENCHを時間的接地音楽理解における今後の研究の挑戦的ベンチマークとして位置づけている。

関連論文リスト

• Incentivizing Temporal-Awareness in Egocentric Video Understanding Models [51.40541228498294]
  マルチモーダル大言語モデル(MLLM)は近年,視覚的理解において高い性能を示したが,時間的認識が欠如していることが多い。 この欠損は、時間的推論に明示的に報酬を与えず、フレームレベルの空間的ショートカットに依存する訓練目的の一部に起因している。 本稿では,MLLMにおける時間的意識を高めるために,検証可能な報酬(RLVR)アルゴリズムを用いた強化学習である時間的グローバルポリシー最適化(TGPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-28T08:02:59Z)
• WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations [67.6147632074449]
  海洋哺乳動物の発声を用いた低レベルの聴覚知覚と認知を評価するために,WoW-Benchベンチマーク(World-of-Whale benchmark)を導入した。 WoW-Benchは、新しい音を分類するための知覚ベンチマークと、ブルームの分類学にインスパイアされた認知ベンチマークで構成され、音の出来事を記憶、理解、応用、分析する能力を評価する。 最先端のLALMを用いた実験は、人間のレベルよりもはるかに低い性能を示し、LALMのより強力な聴覚的接地の必要性を示している。
  論文  参考訳（メタデータ） (2025-08-28T16:29:46Z)
• MUST-RAG: MUSical Text Question Answering with Retrieval Augmented Generation [6.903890310699392]
  MusT-RAG - Retrieval Augmented Generation (RAG)に基づく包括的なフレームワーク MusWikiDBは、検索段階のための音楽特化ベクターデータベースである。 実験の結果,MusT-RAGはLLMの音楽領域適応能力を向上する従来の微調整手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-07-31T08:31:05Z)
• TimeMaster: Training Time-Series Multimodal LLMs to Reason via Reinforcement Learning [6.860030590512406]
  時系列推論は、マルチモーダル大言語モデル(MLLM)において重要な課題である。 時系列MLLMを可視化した時系列入力やタスクプロンプト上で直接構造化・解釈可能な推論を行うことができる強化学習ベースのTimeMasterを導入する。 TimeMasterは最先端のパフォーマンスを達成し、古典的な時系列モデルと数ショットのGPT-4oをそれぞれ14.6%以上、パフォーマンスが7.3%以上向上した。
  論文  参考訳（メタデータ） (2025-06-16T17:12:26Z)
• CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following [12.638115555721257]
  CMI-Benchは、様々な音楽情報検索(MIR)タスクにおいて、オーディオテキストLLMを評価するために設計された総合的な音楽指示に従うベンチマークである。 以前のベンチマークとは異なり、CMI-Benchは従来の最先端のMIRモデルと一致する標準化された評価基準を採用している。 LTU,Qwen-audio,SALMONN,MusiLingoなど,オープンソースの音声テキストLLMをサポートする評価ツールキットを提供する。
  論文  参考訳（メタデータ） (2025-06-14T00:18:44Z)
• MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding [55.32878803528196]
  ビデオの時間的理解は、マルチモーダルな大言語モデル(MLLM)において、ビデオ内のイベントを推論するために不可欠である。 タイムスタンプを意識したマルチセグメントグラウンドの導入により時間的理解を高める新しいRLに基づくMUSEGを提案する。 効果的な学習を容易にするため,段階的な報酬付きRL学習レシピを設計し,時間的根拠に基づく推論に向けてモデルを段階的に導く。
  論文  参考訳（メタデータ） (2025-05-27T04:50:07Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• TimeRefine: Temporal Grounding with Time Refining Video LLM [75.99665302872901]
  ビデオの時間的接地は、テキストのプロンプトが与えられたビデオの中で、関連する時間的境界をローカライズすることを目的としている。 我々は時間的接地タスクを時間的精錬タスクとして再構成する。 我々は、予測セグメントが基底真理からさらに逸脱した場合、モデルをよりペナルティ化する補助予測ヘッドを組み込む。
  論文  参考訳（メタデータ） (2024-12-12T18:59:11Z)
• Is Your LLM Outdated? A Deep Look at Temporal Generalization [37.58752947129519]
  本稿では,Large Language Models(LLMs)における時間的一般化の概念を紹介する。 LLMの時間適応性を評価するために、新しいテキストとイベント予測を利用する新しい評価フレームワークであるFreshBenchを紹介する。 以上の結果から,将来的にはより優れたモデルが急速に減少する傾向にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-14T09:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。