論文の概要: Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

• arxiv url: http://arxiv.org/abs/2604.13715v1
• Date: Wed, 15 Apr 2026 10:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.492866
• Title: Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt
• Title（参考訳）: 微粒な時間知覚に向けて--音素時間プロンプトを用いた大規模オーディオ言語モデルの訓練後-
• Authors: Yanfeng Shi, Pengfei Cai, Jun Liu, Qing Gu, Nan Jiang, Lirong Dai, Ian McLoughlin, Yan Song,
• Abstract要約: 本稿では,時空間知覚の微粒化のためのTimePro-RLフレームワークを開発するために,音声側時間プロンプトを提案し,強化学習を活用する。 具体的には、タイムスタンプを埋め込みとしてエンコードし、時間座標として音声特徴系列にインターリーブし、モデルを刺激する。 実験により、TimePro-RLは、オーディオグラウンド、音声イベント検出、高密度オーディオキャプションなど、様々な時間的タスクにおいて、大きなパフォーマンス向上を達成することが示された。
• 参考スコア（独自算出の注目度）: 26.402383197553778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Audio-Language Models (LALMs) enable general audio understanding and demonstrate remarkable performance across various audio tasks. However, these models still face challenges in temporal perception (e.g., inferring event onset and offset), leading to limited utility in fine-grained scenarios. To address this issue, we propose Audio-Side Time Prompt and leverage Reinforcement Learning (RL) to develop the TimePro-RL framework for fine-grained temporal perception. Specifically, we encode timestamps as embeddings and interleave them within the audio feature sequence as temporal coordinates to prompt the model. Furthermore, we introduce RL following Supervised Fine-Tuning (SFT) to directly optimize temporal alignment performance. Experiments demonstrate that TimePro-RL achieves significant performance gains across a range of audio temporal tasks, such as audio grounding, sound event detection, and dense audio captioning, validating its robust effectiveness.
• Abstract（参考訳）: LALM(Large Audio-Language Models)は、様々なオーディオタスクにおける一般的な音声理解と顕著なパフォーマンスを示す。 しかし、これらのモデルはまだ時間的知覚(例えば、イベントのオンセットとオフセットの推測)の課題に直面しており、きめ細かいシナリオでは実用性に制限がある。 この問題に対処するため,我々は時空間知覚を微粒化するTimePro-RLフレームワークを開発するために,Reinforcement Learning(RL)を活用してオーディオ側タイムプロンプトを提案する。 具体的には、タイムスタンプを埋め込みとしてエンコードし、時間座標として音声特徴系列にインターリーブし、モデルを刺激する。 さらに、時間的アライメント性能を直接最適化するために、SFT (Supervised Fine-Tuning) に続くRLを導入する。 実験により、TimePro-RLは、音声グラウンド、音声イベント検出、高密度音声キャプションなど、様々な時間的タスクにおいて大きなパフォーマンス向上を実現し、その堅牢性を検証する。

関連論文リスト

• Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
  大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。 彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。 本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
  論文  参考訳（メタデータ） (2026-02-10T19:19:52Z)
• Not in Sync: Unveiling Temporal Bias in Audio Chat Models [59.146710538620816]
  大規模音声言語モデル(LALM)は、音声理解やマルチモーダル推論にますます応用されている。 LALMにおける時間バイアスに関する最初の体系的研究を行い,その時間スタンプ予測における重要な限界を明らかにした。
  論文  参考訳（メタデータ） (2025-10-14T06:29:40Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
  AQA(Audio Question Answering)タスクには、オーディオイベント分類、オーディオキャプション、オープンエンド推論が含まれる。 LALMは一般的な音声理解では優れているが、時間的推論では限られている。 本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
  論文  参考訳（メタデータ） (2024-09-10T05:26:53Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• Leveraging Language Model Capabilities for Sound Event Detection [10.792576135806623]
  本稿では,音声イベントとその時間的位置を同時に生成しながら,音声特徴を理解するためのエンドツーエンドフレームワークを提案する。 具体的には、事前学習された音響モデルを用いて、異なるカテゴリーにわたる識別的特徴を捉え、自動回帰テキスト生成のための言語モデルを用いる。
  論文  参考訳（メタデータ） (2023-08-22T15:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。