論文の概要: On Temporal Binding in Large Audio Language Models

• arxiv url: http://arxiv.org/abs/2609.34806v1
• Date: Mon, 28 Sep 2026 10:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:41:02.829361
• Title: On Temporal Binding in Large Audio Language Models
• Title（参考訳）: 大規模音声モデルにおける時間的結合について
• Abstract要約: 音声記録の時間構造に関する推論には,音声イベントと時間的位置を関連付けるために,Large Audio Language Models (LALM) が必要となる。 本研究では,3つのオープンソースのLALMにおいて,時間情報がどのように表現され,音声イベントに結びついているかを検討する。
• 参考スコア（独自算出の注目度）: 7.854430245748343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning about temporal structure of audio recordings requires Large Audio Language Models (LALMs) to associate sound events with their temporal position. Understanding the underlying mechanisms is a first step toward diagnosing failures and identifying model components that may need improvement. Using mechanistic interpretability, we investigate how temporal information is represented and bound to sound events in three open-source LALMs. We find that across all three, event-specific location becomes concentrated in event name representations at intermediate modality integration layers. These representations encode coarse event position along a low-dimensional, curved relative time trajectory. Steering event name representations along this trajectory systematically shifts before/after beliefs, providing evidence that these representations contribute to coarse temporal reasoning. In contrast, the same interventions do not reliably shift predicted onset timestamps, suggesting that coarse temporal reasoning and precise metric event localization rely on distinct mechanisms.
• Abstract（参考訳）: 音声記録の時間構造に関する推論には,音声イベントと時間的位置を関連付けるために,Large Audio Language Models (LALM) が必要となる。 基盤となるメカニズムを理解することは、障害を診断し、改善を必要とするかもしれないモデルコンポーネントを特定するための第一歩です。 機械的解釈可能性を用いて,3つのオープンソースLALMにおける時空間情報がどのように表現され,音事象に拘束されるかを検討する。 3つのイベント固有の位置が、中間モダリティ統合層におけるイベント名表現に集中していることが分かりました。 これらの表現は、低次元、湾曲した相対時間軌道に沿った粗い事象位置を符号化する。 この軌道に沿ったイベント名表現のステアリングは、信念の前/後を体系的にシフトし、これらの表現が粗い時間的推論に寄与する証拠を提供する。 対照的に、同じ介入は、予測された開始タイムスタンプを確実にシフトさせることはなく、粗い時間的推論と正確な計量事象の局所化は、異なるメカニズムに依存していることを示唆している。

関連論文リスト

• Augmenting Large Audio-Language Models with Frame-Level Grounding for Fine-Grained Temporal Perception [26.919697203335343]
  LALM(Large Audio-Language Models)は、かなり高度な一般的な音声理解を持つが、微粒な時間知覚では限定的である。 イベントクエリを表現するためのセマンティックモデリング機能を活用しながら、専用のフレームレベルグラウンドモデルでLALMを拡張する。 多様な時間的グラウンドベンチマークによる実験は、既存の方法よりも強力で一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-09-14T08:35:35Z)
• ChronoSSM: Training for Temporally Aware Representations in Autoregressive State Space Models [0.5366467936613011]
  イベントとタイムスタンプを共有バックボーンでモデル化する自動回帰状態空間モデル(SSM)であるChronoSSMを紹介する。 時間的監視は、自己回帰イベントモデリングを著しく劣化させることなく、時間的により情報的な表現を生み出すことができることを示す。
  論文  参考訳（メタデータ） (2026-08-10T18:35:19Z)
• Rethinking Event-Based Object Dtection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning [65.08890312027314]
  イベントカメラはマイクロ秒レベルの時間分解能、低レイテンシ、高ダイナミックレンジを提供する。 Event Dual Temporal-Relational Aggregation Detector (Ev-DTAD)は、表現レベルの時間エンコーディングとモデルレベルの時間-ハイパーグラフ推論を統合する。 Ev-DTADは、コンパクトな時間的表現と時間的ハイパーグラフの特徴的推論の相補性を検証し、競争精度と効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-05-09T09:20:34Z)
• E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
  時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。 E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。 E.M.Ground は最先端の Vid-LLM を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-05T02:16:00Z)
• Not in Sync: Unveiling Temporal Bias in Audio Chat Models [59.146710538620816]
  大規模音声言語モデル(LALM)は、音声理解やマルチモーダル推論にますます応用されている。 LALMにおける時間バイアスに関する最初の体系的研究を行い,その時間スタンプ予測における重要な限界を明らかにした。
  論文  参考訳（メタデータ） (2025-10-14T06:29:40Z)
• Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
  マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。 DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。 DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
  論文  参考訳（メタデータ） (2025-07-22T08:24:01Z)
• Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization [113.19483349876668]
  本稿では,注意に基づくシーケンス・ツー・シーケンスモデルを用いて,音のイベントの局所化に新たなアプローチを提案する。 それは無響および残響の条件の最先端の方法と比較される優秀なローカリゼーションの性能をもたらします。
  論文  参考訳（メタデータ） (2021-02-28T07:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。