論文の概要: What Are You Listening to? Temporal Music Grounding for Audio-to-Text Large Language Models
- arxiv url: http://arxiv.org/abs/2608.29480v1
- Date: Sun, 30 Aug 2026 00:17:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.979409
- Title: What Are You Listening to? Temporal Music Grounding for Audio-to-Text Large Language Models
- Title（参考訳）: 聴くものは何か? 音声からテキストへの大規模言語モデルのための時間的音楽グラウンド
- Abstract要約: 本稿では,音符やイベント,パターンに対応する1つ以上の時間帯をモデルが返すタスクである時間的音楽グラウンドについて紹介する。
アルゴリズムによって生成されたピアノMIDIをオーディオにレンダリングして構築したベンチマークスイートであるMusicGroundingBenchを紹介する。
実験の結果,現在の音声モデルでは時間的音楽グラウンドリングが依然として困難であることが確認された。
- 参考スコア（独自算出の注目度）: 4.715803044908279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large audio-language models can produce fluent and musically plausible responses, yet it often remains unclear whether those responses are grounded in the audio input. We introduce temporal music grounding, a task in which a model returns one or more time spans corresponding to a queried musical note, event, or pattern. To evaluate this capability, we present MusicGroundingBench, a controlled benchmark suite built by rendering algorithmically generated piano MIDI to audio, yielding exact symbolic-to-audio alignment. The suite comprises two subsets: MGBench-3N, which evaluates note-level grounding in clips containing up to three notes, and MGBench-2B, which evaluates structured grounding and short-form music understanding in two-bar excerpts. Experiments show that temporal music grounding remains challenging for current audio-language models, whereas task-specific training yields substantial gains. We further report exploratory evidence on the relationship between grounding supervision and music understanding. These results establish MusicGroundingBench as a controlled testbed for assessing whether audio-language models ground their responses in temporally localized musical evidence.
- Abstract（参考訳）: 大規模な音声言語モデルでは、流動的で音楽的にも妥当な応答が得られるが、これらの応答が音声入力に根拠があるかどうかは不明な場合が多い。
本稿では,音符やイベント,パターンに対応する1つ以上の時間帯をモデルが返すタスクである時間的音楽グラウンドについて紹介する。
この能力を評価するために,アルゴリズムによって生成されたピアノMIDIを音響にレンダリングし,正確な記号と音響のアライメントを得られる,制御されたベンチマークスイートであるMusicGroundingBenchを提案する。
このスイートは、2つのサブセットで構成されており、MGBench-3Nは最大3つの音符を含むクリップの音符レベルのグラウンドを評価し、MGBench-2Bは2バーの抜粋で構造化されたグラウンドとショートフォームの音楽理解を評価する。
実験の結果,現在の音声モデルでは時間的音楽グラウンドリングが依然として困難であることが確認された。
さらに,基礎監督と音楽理解の関係に関する探索的証拠を報告する。
これらの結果から,MusicGroundingBenchは音声モデルが時間的局所的な音楽的証拠に応答するかどうかを評価するための制御テストベッドとして確立した。
関連論文リスト
- Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models [51.75139461584678]
最近の音声合成モデルは高品質な音声を生成するが、複数の音声イベントと時間順を含む指示に従わないことが多い。
本稿では,音声対応の大規模言語モデルを用いた指示レベルフレームワークを提案する。
実験の結果,既存のベンチマークやS3Benchにおける事象完全性,時間的順序付け,共同指示追従の精度が向上し,音質の維持が図られた。
論文 参考訳（メタデータ） (2026-07-15T03:13:06Z) - Continuous Audio Thinking for Large Audio Language Models [16.335310406868217]
応答生成に先立って音響情報を整理するための連続的な潜時ワークスペースを備えた音声モデルを実現するために,Continuous Audio Thinking (CoAT)を導入した。
思考空間内では、モデルはその応答を生成する際に専門家の蒸留によって提供される豊かな音響情報を利用することができる。
CoATは、ベースラインに対する追加の自己回帰復号化コストを必要としない。
論文 参考訳（メタデータ） (2026-06-05T11:38:30Z) - FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。
この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。
本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文 参考訳（メタデータ） (2026-06-04T18:05:39Z) - PitchBench: Measuring Pitch Hearing in Audio-Language Models [9.085153261594623]
音声モデル(ALM)におけるピッチ聴力を測定する評価スイートであるPitchBenchを紹介する。
PitchBenchは、音の大きさ、音の持続時間、音源、時間伸張、背景雑音、その他の音響条件の異なる配列とコード内の絶対的および相対的なピッチ知覚にまたがる28の実験を含む。
ピッチ補聴器の精度は,音源,音符持続時間,表記形式によって著しく変化し,信頼性が低いままである。
論文 参考訳（メタデータ） (2026-05-25T05:37:15Z) - Rubato: Transcribing Piano Music with Timestamps [47.76733897717644]
タイムスタンプを付加した人間可読シート音楽への音楽録音の変換について検討する。
本稿では,(1)ポリフォニック音楽の新しいテキスト表現であるInterMoの出力を訓練した,Rubatoというプロンプト条件付きエンコーダデコーダモデルを紹介する。
実験により, ルバトは, 音符の精度を最良なアプローチよりも高め, タイムスタンプ付きピアノ楽譜を音声から生成できることが実証された。
論文 参考訳（メタデータ） (2026-05-22T23:47:21Z) - Music Flamingo: Scaling Music Understanding in Audio Language Models [98.94537017112704]
Music Flamingoは、基礎的なオーディオモデルにおける音楽理解を促進するために設計された、新しい大きなオーディオ言語モデルである。
MF-Skillsはマルチステージパイプラインを通じてラベル付けされたデータセットで、調和、構造、音色、歌詞、文化的な文脈をカバーする豊富なキャプションと質問応答ペアを生成する。
MF-Thinkは音楽理論に基づく新しいチェーン・オブ・シンク・データセットで、続いてGRPOベースの強化学習とカスタム報酬を取り入れた。
論文 参考訳（メタデータ） (2025-11-13T13:21:09Z) - AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。
我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。
その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-10-08T17:50:16Z) - Towards an AI Musician: Synthesizing Sheet Music Problems for Musical Reasoning [69.78158549955384]
本稿では,ビートやインターバルをプログラム関数として扱うような,コア音楽理論のルールを扱う新しいアプローチを提案する。
このアプローチは、テキストと視覚の両方で検証可能な楽譜の質問を生成する。
SSMR-Benchの評価結果は,楽譜の解釈における重要な役割を浮き彫りにした。
論文 参考訳（メタデータ） (2025-09-04T09:42:17Z) - CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation [17.41880273107978]
Contrastive Long-form Language-Audio Pretraining (textbfCoLLAP)
入力音声(最大5分)と言語記述(250語)の認識窓を著しく拡張するコントラストロングフォーム言語事前学習(textbfCoLLAP)を提案する。
大規模なAudioSetトレーニングデータセットから51.3Kのオーディオテキストペアを収集し,平均オーディオ長が288秒に達する。
論文 参考訳（メタデータ） (2024-10-03T07:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。