論文の概要: OmniGround: Strengthening Omni-Modal Temporal Grounding via Attention-Consistency Training
- arxiv url: http://arxiv.org/abs/2610.25929v1
- Date: Mon, 19 Oct 2026 07:27:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 03:39:46.480468
- Title: OmniGround: Strengthening Omni-Modal Temporal Grounding via Attention-Consistency Training
- Title（参考訳）: OmniGround:注意-一貫性トレーニングによるOmniModal Temporal Groundingの強化
- Abstract要約: オールニモーダルモデルはビデオ,音声,テキストを共同で理解できるが,時間的接地では弱いままであることを示す。
TACG(Temporal Attention-Ground Grounding)は、内部の注意を信頼できる時間軸として扱う手法である。
我々は、追加の時間的手がかりを注入することなく、より強力な時間的接地能力を持つ汎用オムニモーダルモデルであるオムニを訓練する。
- 参考スコア（独自算出の注目度）: 36.88819539818086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omni-modal large language models can jointly understand video, audio, and text, yet they remain weak at temporal grounding, a capability essential for real-world audio-visual applications. To understand this limitation, we look beyond final predictions and examine the model's internal temporal evidence. We identify a temporal generation gap: the internal attention of the model localizes the target moment more accurately than the timestamps it generates. To close this gap, we propose TACG (Temporal Attention-Consistency Grounding), a post-training method that treats internal attention as a reliable temporal pivot and aligns it with both the model prediction and the ground-truth annotation through attention-consistency training. We further build a 580K-sample training dataset by reconstructing temporal QA from dense audio-visual annotations and organizing general omni-modal instruction data. Using TACG and this training dataset, we train OmniGround, a general-purpose omni-modal model with stronger temporal grounding capability, without injecting any additional temporal cues. OmniGround reaches state-of-the-art omni-modal temporal grounding, including 37.5 mIoU on LongVALE and 35.7 mIoU on UnAV-100, while staying competitive on both general audio-visual understanding and vision-only grounding.
- Abstract（参考訳）: オムニモーダルな大言語モデルは、ビデオ、オーディオ、テキストを共同で理解することができるが、リアルタイムオーディオ・ビジュアル・アプリケーションに不可欠な機能である時間的接地には弱いままである。
この限界を理解するために、最終的な予測を超えて、モデルの内部時間的証拠を調べる。
モデルの内部の注意は、生成するタイムスタンプよりも正確にターゲットモーメントをローカライズする。
このギャップを埋めるために, TACG (Temporal Attention-Consistency Grounding) を提案する。これは, 内部の注意を信頼性のある時間軸として扱うポストトレーニング手法であり, 注意-一貫性のトレーニングを通じて, モデル予測と地道アノテーションの両方と整合する。
さらに,高密度な音声・視覚アノテーションから時間的QAを再構築し,一般的なオムニモーダル・インストラクションデータを整理することにより,580Kサンプルのトレーニングデータセットを構築する。
TACGとこのトレーニングデータセットを用いて、追加の時間的手がかりを注入することなく、より強力な時間的接地能力を持つ汎用オムニモーダルモデルであるOmniGroundを訓練する。
OmniGroundは、LongVALEで37.5 mIoU、UnAV-100で35.7 mIoUを含む最先端のOmni-modal temporal groundingに到達した。
関連論文リスト
- SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision-Language Models [38.02760370592775]
ビデオビジョン言語モデル(VLM)は、強い意味的理解を持っているが、正確な時間的根拠は信頼できない。
本稿では,グループ相対的政策最適化の自己監督として内部時間的注意を用いた自己監督的注意政策最適化(SAPO)を提案する。
論文 参考訳（メタデータ） (2026-10-19T07:23:25Z) - Augmenting Large Audio-Language Models with Frame-Level Grounding for Fine-Grained Temporal Perception [26.919697203335343]
LALM(Large Audio-Language Models)は、かなり高度な一般的な音声理解を持つが、微粒な時間知覚では限定的である。
イベントクエリを表現するためのセマンティックモデリング機能を活用しながら、専用のフレームレベルグラウンドモデルでLALMを拡張する。
多様な時間的グラウンドベンチマークによる実験は、既存の方法よりも強力で一貫した改善を示している。
論文 参考訳（メタデータ） (2026-09-14T08:35:35Z) - Training-Free Speech-Centric Omni Understanding with Frozen VLMs [54.39332229535745]
Training-Free Omni (TFO) は、凍結したVLMを音声中心のオムニモデルに変換するプラグイン・アンド・プレイフレームワークである。
TFOは、音声の視覚的理解に競争力があり、5つのモデル設定すべてで平均的な音声のみのパフォーマンスを改善し、多言語音声の獲得を実現している。
論文 参考訳（メタデータ） (2026-08-07T17:59:51Z) - OmniReasoner: Thinking with Long Audio-Video via Native Tool Use [25.032571988845262]
OmniReasonerは、長いオーディオビデオで考えるためのツール・ユース・フレームワークである。
答える前にズームインツールを呼び出すかどうかを判断する。
TimeAnchorはツールの時間的引数を有効に保ち、粒度をまたいだラウンドトリップ一貫性を維持します。
論文 参考訳（メタデータ） (2026-07-21T17:57:50Z) - GigaChat Audio: Time-aware Large Audio Language Model [65.51589021112385]
最大120分以上の入力を明示的にタイムスタンプで解答する時間認識型オーディオLLMを提案する。
提案手法は,カスケードパイプラインからの大規模合成監督を用いて,周期的時間マーカーと連続的な音声トークンをインターリーブする。
論文 参考訳（メタデータ） (2026-07-11T16:34:25Z) - OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding [55.29748680163419]
Video Temporal Grounding (VTG)は、データセットの規模やセマンティックな多様性が制限されているため、オープンワールド設定で苦労している。
オープンワールドVTGのための新しい大規模データセットであるOmniVTGを紹介する。
MLLMをトレーニングして、まず予測を行い、その理解能力を使用して、独自の予測を反映し、洗練します。
論文 参考訳（メタデータ） (2026-04-28T06:34:19Z) - Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。
彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。
本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
論文 参考訳（メタデータ） (2026-02-10T19:19:52Z) - ChronusOmni: Improving Time Awareness of Omni Large Language Models [29.685563616290352]
時間認識は、特に長いビデオを理解し、複雑な質問に答えるために、大規模な言語モデルの基本的な能力である。
そこで我々はChronosOmniを提案する。ChronosOmniは、暗黙と暗黙の両方の時間的認識を高めるために設計されたオムニ大言語モデルである。
時間的精度,モダリティ完全性,相互整合性を備えたデータセットであるChronusAVを構築し,視覚的時間的接地作業のトレーニングと評価を支援する。
論文 参考訳（メタデータ） (2025-12-10T17:22:42Z) - Time Blindness: Why Video-Language Models Can't See What Humans Can? [48.653937503646375]
我々は、ノイズのようなフレームの時間的シーケンスにのみ情報を格納するベンチマークである$bfSpookyBenchを紹介した。
人間は98%以上の精度でこれらのシーケンスの形状、テキスト、パターンを認識できるが、最先端の視覚言語モデルは0%の精度を達成する。
この性能ギャップは、フレームレベルの空間的特徴に対する過度な信頼と、時間的手がかりから意味を抽出できないという、限界を浮き彫りにする。
論文 参考訳（メタデータ） (2025-05-30T17:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。