論文の概要: Heard But Not Said: Prompting Understates Temporal Information of Musical Moments in Frozen Large Audio-Language Models
- arxiv url: http://arxiv.org/abs/2610.29256v1
- Date: Wed, 21 Oct 2026 06:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.255871
- Title: Heard But Not Said: Prompting Understates Temporal Information of Musical Moments in Frozen Large Audio-Language Models
- Title（参考訳）: 音楽のモーメントの時間的情報を示す「Hard But Not Said」
- Abstract要約: 大規模なオーディオ言語モデル(LALM)は音楽を理解するが、時間内に記述された瞬間を見つけるのに苦労する。
時間的情報の欠如や、時間的空間の抽出方法のボトルネックを反映しているかどうかを問う。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large audio-language models (LALMs) understand music, yet struggle to locate a described moment in time. We ask whether this reflects missing temporal information or a bottleneck in how the time span is extracted. Using a paired-query probe built from Slakh2100 stem activations, we attach a state query (e.g., ``only piano and bass are playing'') and a change query (e.g., ``the guitar drops out, leaving piano and bass'') to the same span and vary how much preceding audio the model is shown. Across frozen LALMs, three ways of extracting the span ask different questions: full-track prompting asking whether the model can say when; windowed yes/no scoring asking whether it verifies the moment when handed the segment, and whether it needs what came before; attention asking whether it can find the moment on its own. State queries score above baseline without context, while change queries improve with preceding context in most short-segment models; 30s padded encoders show no comparable recovery. Prompting and attention expose almost none of this. Prompting failures thus understate what LALMs can verify, though not what they can locate, by an amount set by query type and encoder.
- Abstract（参考訳）: 大規模なオーディオ言語モデル(LALM)は音楽を理解するが、時間内に記述された瞬間を見つけるのに苦労する。
時間的情報の欠如や、時間的空間の抽出方法のボトルネックを反映しているかどうかを問う。
Slakh2100ステムアクティベーションから構築されたペアクエリープローブを使用して、状態クエリ(eg , ``only piano and bass are playing'')と変更クエリ(eg , ``the guitar drops out, leave piano and bass'')を同じスパンにアタッチし、モデルがどれだけ先行するオーディオを表示するかを変更する。
凍結したLALM全体で、スパンを抽出する3つの方法は、モデルがいつ言うことができるのかを問うフルトラックプロンプト、セグメントを渡した瞬間を検証できるか、何が必要かを問うウィンドウ付きイエス/ノースコア、その瞬間を自分で見つけることができるかどうかを問う注意。
状態クエリは、コンテキストなしでベースライン上でスコアされ、変更クエリは、ほとんどのショートセグメントモデルで前のコンテキストで改善される。
プロンプティングと注意は、ほとんど何も示さない。
したがって、プロンプティングの失敗は、クエリタイプとエンコーダによって設定された量によって、LALMが検証できることを根拠にしている。
関連論文リスト
- What Are You Listening to? Temporal Music Grounding for Audio-to-Text Large Language Models [4.715803044908279]
本稿では,音符やイベント,パターンに対応する1つ以上の時間帯をモデルが返すタスクである時間的音楽グラウンドについて紹介する。
アルゴリズムによって生成されたピアノMIDIをオーディオにレンダリングして構築したベンチマークスイートであるMusicGroundingBenchを紹介する。
実験の結果,現在の音声モデルでは時間的音楽グラウンドリングが依然として困難であることが確認された。
論文 参考訳（メタデータ） (2026-08-30T00:17:28Z) - GigaChat Audio: Time-aware Large Audio Language Model [65.51589021112385]
最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。
提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
論文 参考訳（メタデータ） (2026-07-11T16:34:25Z) - LongAudio-RAG: Event-Grounded Question Answering over Multi-Hour Long Audio [6.935416517354558]
LongAudio Generation (LARAG) は、Large Language Model (LLM) が取得した、タイムスタンプ付き音響イベント検出において出力する基盤となるフレームワークである。
ハイブリッドエッジクラウド環境にデプロイすることで,このアプローチの実践性を実証する。
イベントレベルの構造的検索は,バニラ検索よりも精度が向上することが示された。
論文 参考訳（メタデータ） (2026-02-16T10:15:22Z) - On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。
予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文 参考訳（メタデータ） (2024-11-20T00:47:17Z) - Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。
提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
論文 参考訳（メタデータ） (2024-10-10T09:28:36Z) - Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
AQA(Audio Question Answering)タスクには、オーディオイベント分類、オーディオキャプション、オープンエンド推論が含まれる。
LALMは一般的な音声理解では優れているが、時間的推論では限られている。
本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
論文 参考訳（メタデータ） (2024-09-10T05:26:53Z) - LITA: Language Instructed Temporal-Localization Assistant [71.68815100776278]
ビデオ長に対してタイムスタンプをエンコードするタイムトークンを導入し,ビデオ中のタイムスタンプをよりよく表現する。
また、アーキテクチャにSlowFastトークンを導入し、微細な時間分解能で時間情報をキャプチャする。
時間的ローカライゼーションに重点を置くことで,既存のビデオLLMに比べて映像ベースのテキスト生成が大幅に向上することを示す。
論文 参考訳（メタデータ） (2024-03-27T22:50:48Z) - Prompting Large Language Models to Reformulate Queries for Moment
Localization [79.57593838400618]
モーメントローカライゼーションのタスクは、与えられた自然言語クエリの未トリミングビデオ中の時間モーメントをローカライズすることである。
我々は,モーメントクエリを大規模言語モデルを用いて命令セットに再構成し,ローカライズモデルに親しみやすくするための初期の試みを行っている。
論文 参考訳（メタデータ） (2023-06-06T05:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。