論文の概要: TiTok: Audio-Visual LLM for Multi-Segment Temporal Grounding

• arxiv url: http://arxiv.org/abs/2610.09408v1
• Date: Wed, 07 Oct 2026 04:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.712232
• Title: TiTok: Audio-Visual LLM for Multi-Segment Temporal Grounding
• Title（参考訳）: TiTok:マルチセグメント時間グラウンドのためのオーディオビジュアルLCM
• Abstract要約: 音声-視覚的大言語モデル(AV-LLM)であるTiTokを,クエリ毎に任意の時間イベントセグメントをローカライズする。 正確な境界予測のために,時間トークンインターリーブ法(TTI)を導入する。 また、強化学習のための非結合多分割型報酬も提案する。
• 参考スコア（独自算出の注目度）: 6.903694506863606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual multi-segment grounding (AV-MSG) in untrimmed videos, reasoning over audio-visual evidence and predicting multiple segments for a query, is a fundamental problem but remains challenging. Visual-only models overlook complementary acoustic cues, while audio-visual models often fail to calibrate the number of events - a phenomenon we refer to as count miscalibration. We present TiTok, an audio-visual large language model (AV-LLM) that localizes an arbitrary number of temporal event segments for each query. For precise boundary prediction, we introduce the Time Token Interleaving (TTI) method, which explicitly injects special time tokens into the audio-visual stream to align input-side temporal perception with output-side temporal prediction. We further propose decoupled, multi-segment-oriented rewards for reinforcement learning, consisting of global, local, count, precision, and format rewards, optimized with Group reward-Decoupled Normalization Policy Optimization (GDPO). To assess the performance on AV-MSG, we establish a new UnAV-100-based evaluation protocol, and propose the CountF1 metric for quantifying count miscalibration that overlap metrics fail to capture. TiTok reaches 65.7 mIoU and 0.58 CountF1, achieving state-of-the-art performance. Our code is available at this link.
• Abstract（参考訳）: 非トリミングビデオにおける音声視覚的マルチセグメントグラウンド(AV-MSG)、音声視覚的証拠の推論、クエリの複数のセグメントの予測は根本的な問題であるが、依然として難しい。 視覚のみのモデルは相補的な音響的手がかりを見落としているのに対して、オーディオ視覚モデルは多くの場合、イベントの数を校正するのに失敗する。 音声-視覚的大言語モデル(AV-LLM)であるTiTokを,クエリ毎に任意の時間イベントセグメントをローカライズする。 正確な境界予測のために,音声-視覚ストリームに特別な時間トークンを明示的に注入し,入力側時間知覚を出力側時間予測と整合させるTime Token Interleaving (TTI)法を導入する。 さらに、グローバル、ローカル、カウント、精度、フォーマット報酬からなる強化学習のための非結合型マルチセグメント指向報酬を提案し、グループ報酬-非結合正規化ポリシー最適化(GDPO)を最適化した。 AV-MSGの性能を評価するために、新しいUnAV-100ベースの評価プロトコルを構築し、重複メトリクスが捕捉できないカウント誤校正を定量化するCountF1メトリクスを提案する。 TiTokは65.7 mIoUと0.58 CountF1に達し、最先端の性能を達成した。 私たちのコードはこのリンクで利用可能です。

関連論文リスト

• TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models [58.80225070159013]
  大型オーディオ言語モデル(LALM)は、クリップレベルで音声を記述するが、イベント、スピーカー、音声にタイムスタンプを割り当てることはできない。 我々は、音声、音声、音楽のタイムスタンプタスクを処理する最初の統合モデルであるTEMPOを提案する。
  論文  参考訳（メタデータ） (2026-08-30T19:49:21Z)
• E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
  時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。 E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。 E.M.Ground は最先端の Vid-LLM を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-05T02:16:00Z)
• Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation [37.91678426119673]
  既存の手法は2つの根本的な問題から生じる視覚バイアスに悩まされている。一様加法融合は、クエリが異なる音源に特化することを防ぎ、視覚のみの訓練目的は、クエリが任意の有意なオブジェクトに収束することを許している。 クロスアテンションを用いた音声中心クエリ生成を提案し、各クエリは異なる音源に選択的に参加し、音声固有の先行情報を視覚的復号化することができる。
  論文  参考訳（メタデータ） (2025-09-26T02:31:17Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• TIM: A Time Interval Machine for Audio-Visual Action Recognition [64.24297230981168]
  音声と視覚イベントの時間的範囲を明示的にモデル化することで、長いビデオにおける2つのモード間の相互作用に対処する。 本稿では,TIM (Time Interval Machine) を提案する。 我々は、EPIC-KITCHENS、Perception Test、AVEの3つの長い音声視覚ビデオデータセットでTIMをテストする。
  論文  参考訳（メタデータ） (2024-04-08T14:30:42Z)
• Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding [36.20990265600332]
  PU-VALORは114,000本以上の擬似アンリム化ビデオと詳細な時間的アノテーションを含む包括的オーディオ視覚データセットである。 PU-VALORは、イベントベースのビデオクラスタリングを含む微妙な方法で、大規模だが粗い注釈付きオーディオ視覚データセットVALORから派生した。 AVicunaは、音声・視覚イベントを時間間隔と対応するテキストトークンに整列できるモデルである。
  論文  参考訳（メタデータ） (2024-03-24T19:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。