論文の概要: What Did the MLLM Hear? Token-Level Spectro-Temporal Grounding for Audio MLLM Explainability
- arxiv url: http://arxiv.org/abs/2609.12663v1
- Date: Fri, 11 Sep 2026 10:08:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.702103
- Title: What Did the MLLM Hear? Token-Level Spectro-Temporal Grounding for Audio MLLM Explainability
- Title（参考訳）: MLLMは何を聴いたか? : 音声MLLM説明可能性のためのToken-Level Spectro-Temporal Grounding
- Abstract要約: 音声MLLMによって生成されたキャプションのトークンレベルの時間的グラウンド化のための,最初のポストホックフレームワークであるSTAGを紹介した。
STAGは、符号化された音声表現のターゲットトークン固有の語彙投影を用いて、生成されたトークンの時間的サポートを推定する。
- 参考スコア（独自算出の注目度）: 6.338357793019971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-based Multimodal Large Language Models (MLLMs) can generate detailed natural-language descriptions of complex acoustic scenes, yet it remains unclear which parts of the input audio support each generated token. This is particularly challenging because acoustic evidence is distributed across time and frequency, and concurrent sound events may overlap temporally while occupying different spectral regions. We introduce STAG, to our knowledge the first post-hoc framework for token-level spectro-temporal grounding of captions generated by audio-based MLLMs. STAG estimates the temporal support for each generated token using target-token-specific vocabulary projections of the encoded audio representations, measures frequency-band relevance through controlled spectral occlusion, and combines the two signals into a spectro-temporal relevance map. We evaluate STAG against ten post-hoc explanation methods across four grounding benchmarks, where it achieves the best event-localization performance on every dataset, and apply it to eight audio-language backbones without parameter updates. Counterfactual deletion further shows that removing the identified evidence selectively reduces confidence in the corresponding event and frequently removes it from the regenerated caption. These results provide behavioral support for the faithfulness and selectivity of the explanations.
- Abstract（参考訳）: 音声に基づくマルチモーダル大言語モデル(MLLM)は複雑な音響シーンの詳細な自然言語記述を生成することができるが、入力された音声のどの部分が生成されたトークンをサポートするかは定かではない。
これは、音響的証拠が時間と周波数に分散し、同時に発生する音は、異なるスペクトル領域を占有しながら時間的に重なる可能性があるため、特に困難である。
音声MLLMによって生成されたキャプションのトークンレベルの時間的グラウンド化のための,最初のポストホックフレームワークであるSTAGを紹介した。
STAGは、符号化された音声表現のターゲット・トークン固有の語彙投影を用いて、生成された各トークンの時間的サポートを推定し、制御されたスペクトルオクルージョンを通して周波数帯域関連度を測定し、この2つの信号を分光時間関連マップに結合する。
提案手法は,各データセット上で最高のイベントローカライズ性能を達成し,パラメータを更新せずに8つのオーディオ言語バックボーンに適用する。
さらに、特定された証拠の削除は、対応する事象に対する信頼を選択的に減少させ、しばしば再生されたキャプションから削除することを示す。
これらの結果は、説明の忠実さと選択性に対する行動支援を提供する。
関連論文リスト
- Augmenting Large Audio-Language Models with Frame-Level Grounding for Fine-Grained Temporal Perception [26.919697203335343]
LALM(Large Audio-Language Models)は、かなり高度な一般的な音声理解を持つが、微粒な時間知覚では限定的である。
イベントクエリを表現するためのセマンティックモデリング機能を活用しながら、専用のフレームレベルグラウンドモデルでLALMを拡張する。
多様な時間的グラウンドベンチマークによる実験は、既存の方法よりも強力で一貫した改善を示している。
論文 参考訳（メタデータ） (2026-09-14T08:35:35Z) - Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。
本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。
論文が受け入れられたら、コードはオープンソースになる。
論文 参考訳（メタデータ） (2026-08-04T07:35:57Z) - Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。
実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
論文 参考訳（メタデータ） (2026-06-12T05:58:31Z) - Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。
既存の手法は主にユークリッド空間における共同視覚表現を学習する。
音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
論文 参考訳（メタデータ） (2026-06-05T08:23:58Z) - SpectCount: Spectrotemporal Counting via Synthetic Signals Improves Large Audio Language Models [11.23346080242434]
大規模なオーディオ言語モデル(LALM)は、オーディオエンコーダと大規模オーディオデータを用いて、大きな言語モデルを拡張する。
本研究では,完全合成音声信号に基づくデータ効率の良い微調整手法であるSpectrotemporal Counting (SpectCount)を提案する。
論文 参考訳（メタデータ） (2026-06-05T04:50:34Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - Causal Tracing of Audio-Text Fusion in Large Audio Language Models [48.849764961130795]
我々は、音声理解におけるLALMの内部情報の流れを調べるために因果追跡を適用した。
DeSTA,Qwen,Voxtralを横断的に層状およびトークン的に解析することにより,個々の隠れ状態の因果効果を評価する。
論文 参考訳（メタデータ） (2026-03-14T05:40:59Z) - Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。
DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。
DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
論文 参考訳（メタデータ） (2025-07-22T08:24:01Z) - Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding [36.20990265600332]
PU-VALORは114,000本以上の擬似アンリム化ビデオと詳細な時間的アノテーションを含む包括的オーディオ視覚データセットである。
PU-VALORは、イベントベースのビデオクラスタリングを含む微妙な方法で、大規模だが粗い注釈付きオーディオ視覚データセットVALORから派生した。
AVicunaは、音声・視覚イベントを時間間隔と対応するテキストトークンに整列できるモデルである。
論文 参考訳（メタデータ） (2024-03-24T19:50:49Z) - QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。
安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。
意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
論文 参考訳（メタデータ） (2023-09-29T20:48:44Z) - Leveraging Language Model Capabilities for Sound Event Detection [10.792576135806623]
本稿では,音声イベントとその時間的位置を同時に生成しながら,音声特徴を理解するためのエンドツーエンドフレームワークを提案する。
具体的には、事前学習された音響モデルを用いて、異なるカテゴリーにわたる識別的特徴を捉え、自動回帰テキスト生成のための言語モデルを用いる。
論文 参考訳（メタデータ） (2023-08-22T15:59:06Z) - Audio-visual multi-channel speech separation, dereverberation and
recognition [70.34433820322323]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。
LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-04-05T04:16:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。