論文の概要: TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models

• arxiv url: http://arxiv.org/abs/2608.29999v1
• Date: Sun, 30 Aug 2026 19:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.145443
• Title: TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models
• Title（参考訳）: TEMPO:大規模オーディオ言語モデルのための仮設マルチタスクポストトレーニング
• Abstract要約: 大型オーディオ言語モデル(LALM)は、クリップレベルで音声を記述するが、イベント、スピーカー、音声にタイムスタンプを割り当てることはできない。 我々は、音声、音声、音楽のタイムスタンプタスクを処理する最初の統合モデルであるTEMPOを提案する。
• 参考スコア（独自算出の注目度）: 58.80225070159013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large audio-language models (LALMs) describe audio at the clip level but cannot assign timestamps to the events, speakers, or sounds they identify. Despite being essential for downstream tasks like speech recognition and dense audio captioning, timestamping remains a key limitation of most LALMs. We present TEMPO (Temporally-grounded Multi-task Post-training), the first unified model to handle audio, speech, and music timestamping tasks. Our core contribution is a supervised fine-tuning (SFT) stage built on three innovations: atomic timestamp tokens, a time-aware projector that injects sinusoidal wall-clock encodings into audio frame embeddings, and a distance-aware Gaussian loss. Our training is based on a synthetic-to-real curriculum. We further introduce, to our knowledge, the first application of reinforcement learning to unified audio timestamping, using GRPO with verifiable temporal rewards that directly optimize the evaluation objectives. Rather than serving as the primary source of performance gains, GRPO acts as a refinement stage on top of the SFT checkpoint, providing modest additional improvements. To support this work, we build a training dataset containing 119K samples and an evaluation benchmark containing 10K samples, drawn from established corpora across five tasks. On this benchmark, TEMPO outperforms Audio Flamingo Next and Qwen3-Omni, two state-of-the-art LALMs explicitly trained on timestamped data. Experiments confirm that SFT delivers most of these gains, with GRPO providing consistent but moderate refinements.
• Abstract（参考訳）: 大型オーディオ言語モデル(LALM)は、クリップレベルで音声を記述するが、イベント、スピーカー、音声にタイムスタンプを割り当てることはできない。 音声認識や高密度音声キャプションといった下流タスクには必須だが、ほとんどのLALMではタイムスタンプが重要な制限となっている。 本稿では,音声,音声,音楽のタイムスタンプ処理を行う最初の統合モデルであるTEMPO(Temporally-grounded Multi-task Post-training)を提案する。 私たちのコアコントリビューションは、原子タイムスタンプトークン、正弦波のウォールクロックエンコーディングをオーディオフレーム埋め込みに注入する時間認識プロジェクタ、距離認識ガウス損失の3つのイノベーションに基づいて構築された教師付き微調整(SFT)ステージです。 私たちのトレーニングは、総合的なカリキュラムに基づいています。 さらに,我々の知る限り,評価目的を直接最適化する時間的報酬を検証可能なGRPOを用いて,統合音声タイムスタンピングへの強化学習の最初の応用について紹介する。 GRPOはパフォーマンス向上の主源として機能するのではなく、SFTチェックポイント上の改良段階として機能し、わずかに改善された。 この作業を支援するために,119Kサンプルを含むトレーニングデータセットと,5つのタスクにまたがる確立したコーパスから抽出された10Kサンプルを含む評価ベンチマークを構築した。 このベンチマークでは、TEMPOはAudio Flamingo NextとQwen3-Omniより優れています。 実験では、SFTがこれらの利得の大部分を供給し、GRPOは一貫性はあるが適度な改善を提供する。

関連論文リスト

• Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models [51.75139461584678]
  最近の音声合成モデルは高品質な音声を生成するが、複数の音声イベントと時間順を含む指示に従わないことが多い。 本稿では,音声対応の大規模言語モデルを用いた指示レベルフレームワークを提案する。 実験の結果,既存のベンチマークやS3Benchにおける事象完全性,時間的順序付け,共同指示追従の精度が向上し,音質の維持が図られた。
  論文  参考訳（メタデータ） (2026-07-15T03:13:06Z)
• GigaChat Audio: Time-aware Large Audio Language Model [65.51589021112385]
  最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。 提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
  論文  参考訳（メタデータ） (2026-07-11T16:34:25Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt [26.402383197553778]
  本稿では,時空間知覚の微粒化のためのTimePro-RLフレームワークを開発するために,音声側時間プロンプトを提案し,強化学習を活用する。 具体的には、タイムスタンプを埋め込みとしてエンコードし、時間座標として音声特徴系列にインターリーブし、モデルを刺激する。 実験により、TimePro-RLは、オーディオグラウンド、音声イベント検出、高密度オーディオキャプションなど、様々な時間的タスクにおいて、大きなパフォーマンス向上を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-15T10:50:29Z)
• Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
  大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。 彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。 本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
  論文  参考訳（メタデータ） (2026-02-10T19:19:52Z)
• Language-based Audio Moment Retrieval [14.227865973426843]
  音声モーメント検索(AMR)と呼ばれる新しいタスクを提案し設計する。 従来の言語ベースの音声検索タスクとは異なり、AMRはテキストクエリに基づいて、未編集の長い音声の関連モーメントを予測することを目的としている。 我々は、モーメントアノテーションを付加した大規模なシミュレーションオーディオ録音からなる専用のデータセット、Clatho-Momentを構築した。 次に、AMRタスクの基本的なフレームワークとして、Audio Moment DETR (AM-DETR) と呼ばれるDETRベースのモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-24T02:24:48Z)
• Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
  AQA(Audio Question Answering)タスクには、オーディオイベント分類、オーディオキャプション、オープンエンド推論が含まれる。 LALMは一般的な音声理解では優れているが、時間的推論では限られている。 本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
  論文  参考訳（メタデータ） (2024-09-10T05:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。